日日 Deep 每日 Learning

선형대수에서 핵심이 되는 고윳값(Eigen Value)과 고유벡터(Eigen Vector)에 대해서 정리하고자 한다. 1. 정의 고윳값과 고유벡터의 정의는 다음 수식을 보면 알 수 있다. HTML 삽입 미리보기할 수 없는 소스 정사각행렬 $A$가 주어졌을때, 벡터 $\textbf{v}$의 곱이 $\lambda\textbf{v}$이 같으면, 이때의 $\lambda$를 고윳값( Eigen Value ), $\textbf{v}$를 고유벡터( Eigen Vectors )라고 한다. 또, $\lambda$는 상수이고 $\textbf{v}$는 벡터이므로, "방향은 같고 크기만 변화"함을 알 수 있다. $A$ = 정사각행렬 $A$는 필수적으로 정사각행렬이 되어야 한다. 이유는 아래 수식을 보자. HTML 삽입 미리보..

최소자승법은 간단하게 말해서 "어떤 n차원 평면(공간)이 있고 이 평면 위(안)에 있지 않은 어떤 점 A가 있을때, A와 가장 가까운 평면(공간) 위(안)의 점을 찾는 것"이다. 간단해보였는데, 말해보니 간단하게 전달되지 않아보인다. 정리해보자. 1. 최소자승법 : Least Squares 어떤 행렬 $A$가 있다. 이때 이 행렬은 full column rank이다. 즉, 아래와 같은 모양을 가진다. HTML 삽입 미리보기할 수 없는 소스 이때, 행렬 $A$의 열공간은 전체 5차원 공간 안에서 3차원을 span한 공간이다. 위의 그림과 같이 $A$의 열공간 $C(A)$이 평면으로 표현된다고 하자. 이 공간 안에 $A\textbf{x}$가 있고, 이 공간 밖에 벡터 $b$가 존재한다고 하자. 이때, 벡터 ..

대각합(Trace)에 대해 정리해보자. 대각합은 말 그대로 행렬의 대각선 성분의 합을 말한다. 단순해 보이는 이 개념은 모델의 최적화 부분에서 중요한 역할을 한다. 1. 대각합 : Trace 우선 최적화 관점에서 보자. 최적화를 할때, loss function을 최소화하는게 그 목적이 된다. 그런데 loss function에서 다루는 데이터는 행렬 형태의 데이터이기 때문에, 이를 미분하여 값(크기)로 만들어야 최소화할 수 있다. 행렬의 크기가 작으면 간단하게 미분이 되겠지만 크기가 커질수록 복잡해지는데, 이때 대각합(trace)을 미분할 때 사용할 수 있다. 이렇듯 모델 최적화에서도 쓰이는 대각합(trace)에 대해 정리해보겠다. 대각합의 정의는 "정사각행렬 A에서 행렬의 대각선 성분(diagonal e..

행렬식은 행렬이 역행렬을 가지는지 확인하는데 쓰인다. 행렬식이 0이면 역행렬이 존재하지 않고, 0이 아니면 역행렬이 존재한다. 또, 앞선 포스팅에서 역행렬은 정사각행렬에서만 정의된다는 점을 언급했었다. https://kkuneeee.tistory.com/87 [Linear Algebra] Part12. 선형방정식 해의 개수 선형방정식의 해의 개수는 행렬에 따라 다르게 나타난다. 즉, $A\textbf{x}=\textbf{b}$에서 행렬 $A$가 어떤 랭크를 가지느냐에 따라 해의 개수가 다르다. 1. Full Column Rank full column rank는 행렬 $A$의 열 개 kkuneeee.tistory.com https://kkuneeee.tistory.com/89 [Linear Algebra]..

역행렬은 앞선 포스팅 가우스-조던 소거법의 내용과 연결된다. https://kkuneeee.tistory.com/88 [Linear Algebra] Part13. 가우스-조던 소거법(Gauss-Jordan Elimination) 가우스 조던 소거법(이하 가우스 소거법)은 이미 우리가 알고 있는 연립방정식 풀이법과 동일하다. 단지, 선형대수에서는 방정식의 수가 매우 많은 경우를 다루기 때문에 수식을 행렬로 변형하 kkuneeee.tistory.com 가우스 소거법 정리에서 연관되어 유도되기 때문이다. 1. 역행렬 : Inverse Matrix 역행렬의 정의부터 다시 보자. 역행렬은 정사각행렬 $A$에 대해서 $AX=XA=I$를 만족하는 정사각행렬 X를 말한다. 역행렬의 공식은 중고등학교 과정에서 배웠던것과..

가우스 조던 소거법(이하 가우스 소거법)은 이미 우리가 알고 있는 연립방정식 풀이법과 동일하다. 단지, 선형대수에서는 방정식의 수가 매우 많은 경우를 다루기 때문에 수식을 행렬로 변형하여 다룬다. 이 때 사용되는 선형연립방정식의 행렬 버전이 가우스 소거법이라고 할 수 있다. 1. 확장행렬 가우스 소거법을 하기 위해서는 확장행렬이라는 개념이 필요하다. 아래 수식을 보자. HTML 삽입 미리보기할 수 없는 소스 위의 수식처럼 연립방정식을 행렬로 표현하면 가운데처럼 x, y가 그대로 있게 된다. 이를 생략한다고 했을때, 계수와 값만을 두고 보면 오른쪽 행렬과 같이 $2\times 3$ 행렬로 표현할 수 있는데, 이를 확장(확대)행렬( Augmented coefficient matrix )이라고 한다. 2. 가..

선형방정식의 해의 개수는 행렬에 따라 다르게 나타난다. 즉, $A\textbf{x}=\textbf{b}$에서 행렬 $A$가 어떤 랭크를 가지느냐에 따라 해의 개수가 다르다. 1. Full Column Rank full column rank는 행렬 $A$의 열 개수와 그 행렬의 랭크가 같은 경우이다. 이때 선형방정식은 다음과 같은 모양을 가진다. HTML 삽입 미리보기할 수 없는 소스 행렬 $A$는 위와 같이 $m\times n$ 행렬이다. 이때 $m\geq n$은 이며, 세로로 길쭉한 모양을 갖는다. 이러한 식을 풀어 쓰면 아래와 같다. HTML 삽입 미리보기할 수 없는 소스 행렬 $A$는 $m\times n$ 행렬이고, $n\times 1$인 $\textbf{x}$와 선형결합을 통한 결과 벡터는 $\t..

1. 영공간 : Null Space 영공간의 정의는 $A\textbf{x}=0$을 만족하는 해의 집합으로, 식으로 하면 $N(A)=\left\{\textbf{x}|A\textbf{x}=0 \right\}$로 표현할 수 있다. 예시를 보자. HTML 삽입 미리보기할 수 없는 소스 위와 같이 랭크가 2인 행렬 $A$가 주어졌을때, $A\textbf{x}$는 위와 같이 $A$의 열벡터와의 선형결합으로 표현할 수 있다. 이때, 해는 아래와 같은 벡터들이 해당될 수 있다. HTML 삽입 미리보기할 수 없는 소스 모든 성분을 0을 같은 벡터는 항상 포함하게 되며, 나머지 다른 해들은 같은 꼴을 하고 있기에 영공간은 아래와 같이 표현할 수 있다. HTML 삽입 미리보기할 수 없는 소스 이처럼 영벡터를 제외한 해를 하..

행렬의 랭크(Rank)에 대해 자세히 정리해보도록 하자. 지난 포스팅에서 랭크의 정의 정도만 정리하고 넘어갔던 것을 자세히 정리해보고자 한다. https://kkuneeee.tistory.com/81 [Linear Algebra] Part6. 차원(Dimension)과 랭크(Rank) https://kkuneeee.tistory.com/80 [Linear Algebra] Part5. 선형독립, 선형종속 그리고 기저(base) https://kkuneeee.tistory.com/79 [Linear Algebra] Part4. 선형결합과 벡터공간, 그리고 부분공간 https://kkuneeee.tistory.com/76 [Linear A kkuneeee.tistory.com 1. 랭크 : Rank 랭크의 정..

행렬의 중요한 개념인 항등행렬, 역행렬, 직교행렬에 대해 정리해보자. 우선 그 개념부터 간단히 정리하고, 각각의 개념을 예시를 들어 설명해보고자 한다. 항등행렬은 "어떤 행렬 A에 대해서 곱했을 때 자기 자신(A)를 만들게 하는 행렬"이다. 즉, $A\times I = A$를 만족하는 행렬 $I$를 Identity Matrix라고 하고 약자로 $I$를 사용한다. 역행렬은 "어떤 행렬 A에 대해서 곱했을 때, 항등행렬을 만들게 하는 행렬"을 말한다. 즉, $A\times A^{-1}=I$를 만족하는 $A^{-1}$ 행렬을 말한다. 대각행렬은 "어떤 행렬 A가 대각성분(diagonal element)를 제외한 성분들이 0인 행렬"을 말한다. 직교행렬은 "어떤 행렬 A의 열벡터가 자기자신을 제외하고 서로 ..