日日 Deep 每日 Learning

행렬의 중요한 개념인 항등행렬, 역행렬, 직교행렬에 대해 정리해보자. 우선 그 개념부터 간단히 정리하고, 각각의 개념을 예시를 들어 설명해보고자 한다. 항등행렬은 "어떤 행렬 A에 대해서 곱했을 때 자기 자신(A)를 만들게 하는 행렬"이다. 즉, $ A\times I = A $를 만족하는 행렬 $I$를 Identity Matrix라고 하고 약자로 $I$를 사용한다. 역행렬은 "어떤 행렬 A에 대해서 곱했을 때, 항등행렬을 만들게 하는 행렬"을 말한다. 즉, $A\times A^{-1}=I$를 만족하는 $A^{-1}$ 행렬을 말한다. 대각행렬은 "어떤 행렬 A가 대각성분(diagonal element)를 제외한 성분들이 0인 행렬"을 말한다. 직교행렬은 "어떤 행렬 A의 열벡터가 자기자신을 제외하고 서로 ..

행렬 곱셈을 바라보는 4가지 관점에 대해서 설명하려고 한다. 행렬 곱셈을 바라보는 관점으로는 내적, rank-1 matrix의 합, 열공간, 행공간 관점이 있다. 1. 내적 관점 일반적으로 행렬곱이라고 하면 내적 관점으로 보면 된다. HTML 삽입 미리보기할 수 없는 소스 위와 같이 행렬 A, B가 있다. 각 성분은 열벡터를 기준으로 표시하지만, 편의를 위해 행렬 A의 성분은 전치시켜 행벡터로 표시했다. 행렬곱의 과정은 다음과 같다. HTML 삽입 미리보기할 수 없는 소스 결과로 나오는 3 x 3 행렬의 각 성분은 행렬 A와 B의 각 행벡터와 열벡터의 내적으로 표현된다. 계산해보면 일반적인 행렬곱 연산과 동일하다. 2. Rank-1 Matrix의 합 rank-1 matrix의 합으로 보는 관점도 내적과 ..

내적과 정사영은 벡터와 행렬의 연산에서 매우 중요한 개념이다. 우선 그 정의부터 정리해보자. 1. 내적 : Dot Product 내적은 같은 차원의 두 벡터가 주어졌을때 두 벡터를 곱하는 방법 중 하나로, "두 벡터가 얼마나 닮았는가"를 나타낸다. 단어의 의미는 다음과 같다. 내적 = 內積 = Inner Product = 안으로 쌓는다(곱한다) 여기서 적(積)은 '쌓을 적'이지만, 여기서는 곱한다는 의미이다. 내적은 벡터를 수처럼 취급하여, 두 벡터의 크기(norm)을 곱하기 때문에 '안쪽으로 쌓는다'는 의미로 사용된다. 단, 방향이 일치하는 만큼만 곱하기 때문에 결과는 스칼라값이 된다. 다른 벡터곱 개념으로는 외적 (= 外積 = Outer Product = 밖으로 쌓는다(곱한다) )이 있다. 외적은 벡..

https://kkuneeee.tistory.com/80 [Linear Algebra] Part5. 선형독립, 선형종속 그리고 기저(base) https://kkuneeee.tistory.com/79 [Linear Algebra] Part4. 선형결합과 벡터공간, 그리고 부분공간 https://kkuneeee.tistory.com/76 [Linear Algebra] Part1. 행렬과 벡터 그리고 선형대수학 1. 들어가며 딥러닝, 머신러닝 등 인 kkuneeee.tistory.com 앞서 기저에 대해 정리했었다. 기저는 "어떤 벡터공간을 선형결합을 통해 생성하는 선형독립적인 벡터들"이다. 차원과 랭크에 대해 정리하기 전에 우선 행렬을 바라보는 두 가지 방식인 '열공간'과 '행공간'에 대해서 정리해보자. ..

https://kkuneeee.tistory.com/79 [Linear Algebra] Part4. 선형결합과 벡터공간, 그리고 부분공간 https://kkuneeee.tistory.com/76 [Linear Algebra] Part1. 행렬과 벡터 그리고 선형대수학 1. 들어가며 딥러닝, 머신러닝 등 인공지능 분야에서는 주로 행렬, 벡터를 사용하는 알고리즘으로 선형대수학 개념이 kkuneeee.tistory.com 앞서 선형결합과 벡터공간, 부분공간에 대해 정리했다. 이번에는 벡터공간에서 중요한 개념인 기저(basis)에 대해 정리해보고자 한다. 기저에 대해 정리하기 전에 우선 알아야 할 개념은 선형독립(Linearly Independence)과 선형종속(Linearly Dependence)가 있다. ..

https://kkuneeee.tistory.com/76 [Linear Algebra] Part1. 행렬과 벡터 그리고 선형대수학 1. 들어가며 딥러닝, 머신러닝 등 인공지능 분야에서는 주로 행렬, 벡터를 사용하는 알고리즘으로 선형대수학 개념이 중요하게 작용한다. 그러므로 선형대수학의 정리가 필수적이며, 단순하게 kkuneeee.tistory.com 앞서 벡터에 대해 정리해보았다. 벡터는 방향과 크기를 가지는 물리량으로 이러한 벡터들이 존재하는 공간을 벡터공간(Vector Space)이라고 한다. 그렇다면 벡터공간은 어떻게 구성되고 정확히 어떤 것을 의미하는 것일까? 1. 벡터공간 : Vector Space 벡터 공간에 대해 이야기 하기 전에 우선 공간에 대해 이야기해보자. 공간이란 무엇일까? 우리는 어..

1. 전치 (Transpose) 전치는 대각성분 (Diagonal element : 행렬의 대각에 있는 성분)을 기준으로 행과 열의 성분을 교체하는 것이다. HTML 삽입 미리보기할 수 없는 소스 2. 전치행렬의 특징 전치행렬의 특징은 다음과 같다. $(A^\top)^\top = A$ 대각성분을 기준으로 나머지 성분이 대칭일 때 Symmetric Matrix(대칭행렬)이라고 한다. $A^\top = A$ 복소행렬(Complex Matrix)에서 대칭행렬에 대응되는 것을 Hermitian Matrix라고 한다. $(A^\ast)^\top = A^H = A$ $(A+B)^\top = A^\top + B^\top$ $(AB)^\top = B^\top A^\top$ $(A^\top A)^\top = A^\top..

* 이전 정리 https://kkuneeee.tistory.com/76 [Linear Algebra] Part1. 행렬과 벡터 그리고 선형대수학 1. 들어가며 딥러닝, 머신러닝 등 인공지능 분야에서는 주로 행렬, 벡터를 사용하는 알고리즘으로 선형대수학 개념이 중요하게 작용한다. 그러므로 선형대수학의 정리가 필수적이며, 단순하게 kkuneeee.tistory.com 1. 벡터의 방향과 크기 벡터에는 방향과 크기가 있다. 간단한 예시로 HTML 삽입 미리보기할 수 없는 소스 x y 평면에 이러한 벡터 A가 있을때 크기와 방향은 다음과 같다. HTML 삽입 미리보기할 수 없는 소스 벡터의 크기는 벡터의 길이를 의미하며, 벡터의 방향은 양의 x축과 이루는 각도를 말한다. 또 두 벡터가 있을때, 시작점의 위치가 ..

1. 들어가며 딥러닝, 머신러닝 등 인공지능 분야에서는 주로 행렬, 벡터를 사용하는 알고리즘으로 선형대수학 개념이 중요하게 작용한다. 그러므로 선형대수학의 정리가 필수적이며, 단순하게 수학적 개념 뿐만 아니라 컴퓨터의 연산과정과 데이터의 구조 등까지 연결될 수 있는 개념이다. 인공지능 분야에 대한 공부를 시작한지 몇년이 지났지만, 그동안 기초개념을 제대로 복습하지 않아 다시 정리를 시작한다. 머신러닝, 딥러닝, 나아가 컴퓨터가 하는 데이터 연산 과정에 녹아있는 선형대수학을 정리하여, 기초에 대한 이해를 다지고자 한다. 2. 정의 선형대수학은 간단하게 숫자를 대신하여 문자를 사용하는 수학으로, 너무 크거나 작은 숫자를 표현하는 것 대신 문자를 사용함으로써 개념 정리를 용이하게 할 수 있다는 장점이 있다. ..

Likelihood란 데이터가 특정 분포로부터 만들어졌을 확률 = 관측된(주어진) 데이터가 특정 분포(모수)로부터 만들어졌을 가능성 * likehood = 가능성 (O) 확률 (X) MLE : Maximum Likelihood Estimation : 어떤 모수가 주어졌을 때, 원하는 값들이 나올 가능도(likelihood)를 최대로 만드는 모수를 추정하는 방법 1. MLE (Maximum Likelihood Estimation : 최대가능도 추정법) 1) 가정 - 데이터 집합 X는 정규분포를 따른다. - 데이터 집합 X가 독립적으로 추출되었을 경우 : 로그 가능도를 최적화할 수 있다. - 원리 관측값이 정규분포를 따를 때 , 그 원점의 위치를 추정 2) 로그 가능도 - 최적화 : 로그 가능도를 θ = (..