日日 Deep 每日 Learning

1. $rank(A)=rank(AA^{T})=rank(A^{T}A)$의 증명 앞선 랭크의 정리에 대한 포스팅에서 $rank(A)=rank(A^T)$라는 것을 정리했다. 간단하게 다시 말하자면, $A$의 랭크, 즉 열공간의 독립적인 벡터 수는 $A^{T}$의 랭크와 같다는 것이다. 이를 rank theorem 라고 한다. 증명 주어진 행렬 $A$에 대해서, $rank(A)$를 $r$이라고 하고 $A$의 열벡터를 {v₁, v₂, ..., vᵣ}이라고 할때, {v₁, v₂, ..., vᵣ}는 $A$의 열공간을 형성한다. 이때 $A^{T}A$는 $A$의 열벡터들에 대한 내적의 형태로 구성된다. HTML 삽입 미리보기할 수 없는 소스 ​ 내적형태로 구성된 결과행렬에서 대각선 성분들은 $v_{r}^{T}v_{r}$..

선형대수에서 핵심이 되는 고윳값(Eigen Value)과 고유벡터(Eigen Vector)에 대해서 정리하고자 한다. 1. 정의 고윳값과 고유벡터의 정의는 다음 수식을 보면 알 수 있다. HTML 삽입 미리보기할 수 없는 소스 정사각행렬 $A$가 주어졌을때, 벡터 $\textbf{v}$의 곱이 $\lambda\textbf{v}$이 같으면, 이때의 $\lambda$를 고윳값( Eigen Value ), $\textbf{v}$를 고유벡터( Eigen Vectors )라고 한다. 또, $\lambda$는 상수이고 $\textbf{v}$는 벡터이므로, "방향은 같고 크기만 변화"함을 알 수 있다. $A$ = 정사각행렬 $A$는 필수적으로 정사각행렬이 되어야 한다. 이유는 아래 수식을 보자. HTML 삽입 미리보..

최소자승법은 간단하게 말해서 "어떤 n차원 평면(공간)이 있고 이 평면 위(안)에 있지 않은 어떤 점 A가 있을때, A와 가장 가까운 평면(공간) 위(안)의 점을 찾는 것"이다. 간단해보였는데, 말해보니 간단하게 전달되지 않아보인다. 정리해보자. 1. 최소자승법 : Least Squares 어떤 행렬 $A$가 있다. 이때 이 행렬은 full column rank이다. 즉, 아래와 같은 모양을 가진다. HTML 삽입 미리보기할 수 없는 소스 이때, 행렬 $A$의 열공간은 전체 5차원 공간 안에서 3차원을 span한 공간이다. 위의 그림과 같이 $A$의 열공간 $C(A)$이 평면으로 표현된다고 하자. 이 공간 안에 $A\textbf{x}$가 있고, 이 공간 밖에 벡터 $b$가 존재한다고 하자. 이때, 벡터 ..

대각합(Trace)에 대해 정리해보자. 대각합은 말 그대로 행렬의 대각선 성분의 합을 말한다. 단순해 보이는 이 개념은 모델의 최적화 부분에서 중요한 역할을 한다. 1. 대각합 : Trace 우선 최적화 관점에서 보자. 최적화를 할때, loss function을 최소화하는게 그 목적이 된다. 그런데 loss function에서 다루는 데이터는 행렬 형태의 데이터이기 때문에, 이를 미분하여 값(크기)로 만들어야 최소화할 수 있다. 행렬의 크기가 작으면 간단하게 미분이 되겠지만 크기가 커질수록 복잡해지는데, 이때 대각합(trace)을 미분할 때 사용할 수 있다. 이렇듯 모델 최적화에서도 쓰이는 대각합(trace)에 대해 정리해보겠다. 대각합의 정의는 "정사각행렬 A에서 행렬의 대각선 성분(diagonal e..

행렬식은 행렬이 역행렬을 가지는지 확인하는데 쓰인다. 행렬식이 0이면 역행렬이 존재하지 않고, 0이 아니면 역행렬이 존재한다. 또, 앞선 포스팅에서 역행렬은 정사각행렬에서만 정의된다는 점을 언급했었다. https://kkuneeee.tistory.com/87 [Linear Algebra] Part12. 선형방정식 해의 개수 선형방정식의 해의 개수는 행렬에 따라 다르게 나타난다. 즉, $A\textbf{x}=\textbf{b}$에서 행렬 $A$가 어떤 랭크를 가지느냐에 따라 해의 개수가 다르다. 1. Full Column Rank full column rank는 행렬 $A$의 열 개 kkuneeee.tistory.com https://kkuneeee.tistory.com/89 [Linear Algebra]..

역행렬은 앞선 포스팅 가우스-조던 소거법의 내용과 연결된다. https://kkuneeee.tistory.com/88 [Linear Algebra] Part13. 가우스-조던 소거법(Gauss-Jordan Elimination) 가우스 조던 소거법(이하 가우스 소거법)은 이미 우리가 알고 있는 연립방정식 풀이법과 동일하다. 단지, 선형대수에서는 방정식의 수가 매우 많은 경우를 다루기 때문에 수식을 행렬로 변형하 kkuneeee.tistory.com 가우스 소거법 정리에서 연관되어 유도되기 때문이다. 1. 역행렬 : Inverse Matrix 역행렬의 정의부터 다시 보자. 역행렬은 정사각행렬 $A$에 대해서 $AX=XA=I$를 만족하는 정사각행렬 X를 말한다. 역행렬의 공식은 중고등학교 과정에서 배웠던것과..

가우스 조던 소거법(이하 가우스 소거법)은 이미 우리가 알고 있는 연립방정식 풀이법과 동일하다. 단지, 선형대수에서는 방정식의 수가 매우 많은 경우를 다루기 때문에 수식을 행렬로 변형하여 다룬다. 이 때 사용되는 선형연립방정식의 행렬 버전이 가우스 소거법이라고 할 수 있다. 1. 확장행렬 가우스 소거법을 하기 위해서는 확장행렬이라는 개념이 필요하다. 아래 수식을 보자. HTML 삽입 미리보기할 수 없는 소스 위의 수식처럼 연립방정식을 행렬로 표현하면 가운데처럼 x, y가 그대로 있게 된다. 이를 생략한다고 했을때, 계수와 값만을 두고 보면 오른쪽 행렬과 같이 $2\times 3$ 행렬로 표현할 수 있는데, 이를 확장(확대)행렬( Augmented coefficient matrix )이라고 한다. 2. 가..

선형방정식의 해의 개수는 행렬에 따라 다르게 나타난다. 즉, $A\textbf{x}=\textbf{b}$에서 행렬 $A$가 어떤 랭크를 가지느냐에 따라 해의 개수가 다르다. 1. Full Column Rank full column rank는 행렬 $A$의 열 개수와 그 행렬의 랭크가 같은 경우이다. 이때 선형방정식은 다음과 같은 모양을 가진다. HTML 삽입 미리보기할 수 없는 소스 행렬 $A$는 위와 같이 $m\times n$ 행렬이다. 이때 $m\geq n$은 이며, 세로로 길쭉한 모양을 갖는다. 이러한 식을 풀어 쓰면 아래와 같다. HTML 삽입 미리보기할 수 없는 소스 행렬 $A$는 $m\times n$ 행렬이고, $n\times 1$인 $\textbf{x}$와 선형결합을 통한 결과 벡터는 $\t..

1. 영공간 : Null Space 영공간의 정의는 $A\textbf{x}=0$을 만족하는 해의 집합으로, 식으로 하면 $N(A)=\left\{\textbf{x}|A\textbf{x}=0 \right\}$로 표현할 수 있다. 예시를 보자. HTML 삽입 미리보기할 수 없는 소스 위와 같이 랭크가 2인 행렬 $A$가 주어졌을때, $A\textbf{x}$는 위와 같이 $A$의 열벡터와의 선형결합으로 표현할 수 있다. 이때, 해는 아래와 같은 벡터들이 해당될 수 있다. HTML 삽입 미리보기할 수 없는 소스 모든 성분을 0을 같은 벡터는 항상 포함하게 되며, 나머지 다른 해들은 같은 꼴을 하고 있기에 영공간은 아래와 같이 표현할 수 있다. HTML 삽입 미리보기할 수 없는 소스 이처럼 영벡터를 제외한 해를 하..

행렬의 랭크(Rank)에 대해 자세히 정리해보도록 하자. 지난 포스팅에서 랭크의 정의 정도만 정리하고 넘어갔던 것을 자세히 정리해보고자 한다. https://kkuneeee.tistory.com/81 [Linear Algebra] Part6. 차원(Dimension)과 랭크(Rank) https://kkuneeee.tistory.com/80 [Linear Algebra] Part5. 선형독립, 선형종속 그리고 기저(base) https://kkuneeee.tistory.com/79 [Linear Algebra] Part4. 선형결합과 벡터공간, 그리고 부분공간 https://kkuneeee.tistory.com/76 [Linear A kkuneeee.tistory.com 1. 랭크 : Rank 랭크의 정..