日日 Deep 每日 Learning

최소자승법은 간단하게 말해서 "어떤 n차원 평면(공간)이 있고 이 평면 위(안)에 있지 않은 어떤 점 A가 있을때, A와 가장 가까운 평면(공간) 위(안)의 점을 찾는 것"이다. 간단해보였는데, 말해보니 간단하게 전달되지 않아보인다. 정리해보자. 1. 최소자승법 : Least Squares 어떤 행렬 $A$가 있다. 이때 이 행렬은 full column rank이다. 즉, 아래와 같은 모양을 가진다. HTML 삽입 미리보기할 수 없는 소스 이때, 행렬 $A$의 열공간은 전체 5차원 공간 안에서 3차원을 span한 공간이다. 위의 그림과 같이 $A$의 열공간 $C(A)$이 평면으로 표현된다고 하자. 이 공간 안에 $A\textbf{x}$가 있고, 이 공간 밖에 벡터 $b$가 존재한다고 하자. 이때, 벡터 ..

내적과 정사영은 벡터와 행렬의 연산에서 매우 중요한 개념이다. 우선 그 정의부터 정리해보자. 1. 내적 : Dot Product 내적은 같은 차원의 두 벡터가 주어졌을때 두 벡터를 곱하는 방법 중 하나로, "두 벡터가 얼마나 닮았는가"를 나타낸다. 단어의 의미는 다음과 같다. 내적 = 內積 = Inner Product = 안으로 쌓는다(곱한다) 여기서 적(積)은 '쌓을 적'이지만, 여기서는 곱한다는 의미이다. 내적은 벡터를 수처럼 취급하여, 두 벡터의 크기(norm)을 곱하기 때문에 '안쪽으로 쌓는다'는 의미로 사용된다. 단, 방향이 일치하는 만큼만 곱하기 때문에 결과는 스칼라값이 된다. 다른 벡터곱 개념으로는 외적 (= 外積 = Outer Product = 밖으로 쌓는다(곱한다) )이 있다. 외적은 벡..