[Linear Algebra] Part11. 영공간(Null Space)

1. 영공간 : Null Space

영공간의 정의는 $A\textbf{x}=0$을 만족하는 해의 집합으로, 식으로 하면 $N(A)=\left\{\textbf{x}|A\textbf{x}=0 \right\}$로 표현할 수 있다.

 

예시를 보자.

 

$$ A=\begin{bmatrix} 1 & 0 & 1 \\ 0 & 1 & 1 \\ \end{bmatrix}\\ \Rightarrow A\textbf{x} = x_{1}\begin{bmatrix} 1 \\ 0 \end{bmatrix}+x_{2}\begin{bmatrix} 0 \\ 1 \end{bmatrix}+x_{3}\begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} $$

 

위와 같이 랭크가 2인 행렬 $A$가 주어졌을때,

$A\textbf{x}$는 위와 같이 $A$의 열벡터와의 선형결합으로 표현할 수 있다.

 

이때, 해는 아래와 같은 벡터들이 해당될 수 있다.

 

$$ \textbf{x}=\begin{bmatrix} 0 \\ 0 \\ 0 \end{bmatrix},\;\begin{bmatrix} 1 \\ 1 \\ -1 \end{bmatrix},\;\begin{bmatrix} 2 \\ 2 \\ -2 \end{bmatrix} $$

 

모든 성분을 0을 같은 벡터는 항상 포함하게 되며,

나머지 다른 해들은 같은 꼴을 하고 있기에 영공간은 아래와 같이 표현할 수 있다.

 

$$ \textbf{x}_{n} = C\begin{bmatrix} 1 \\ 1 \\ -1 \end{bmatrix} $$

 

이처럼 영벡터를 제외한 해를 하나라도 찾았다면, 그것의 스칼라배로 표현될 수 있다.

$\textbf{x}$는 3차원 공간 안에 있지만, $\textbf{x}_{n}$은 1차원으로 span되기 때문에 1차원이 된다.

 

위의 과정을 보면 이상한 점이 하나 있다.

열벡터는 2차원인데, 영공간은 1차원이라는 것이다. 다시말해 A의 랭크는 2이고, 영공간의 차원은 1이 된다. 

즉, 열공간과 영공간은 다른 차원에 있다는 것이다.

 

참고로 영공간은 행벡터의 차원을 따른다.

 

 

다른 예시를 보자.

 

$$ A=\begin{bmatrix} 1 & 2 & 3 \\ 0 & 0 & 0 \\ \end{bmatrix}\\ \Rightarrow A\textbf{x} = x_{1}\begin{bmatrix} 1 \\ 0 \end{bmatrix}+x_{2}\begin{bmatrix} 2 \\ 0 \end{bmatrix}+x_{3}\begin{bmatrix} 3 \\ 0 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} $$

 

 

위와 같이 랭크가 1인 행렬 $A$가 주어졌을때, 영공간은 다음과 같이 된다.

 

$$ \textbf{x}_{1} = c_{1}\begin{bmatrix} -2 \\ 1 \\ 0 \end{bmatrix},\; \textbf{x}_{2} = c_{2}\begin{bmatrix} -3 \\ 0 \\ 1 \end{bmatrix} $$

 

이처럼 스칼라배로 표현된 해가 두 가지가 있게 된다.

위의 예시와 마찬가지로 각각의 $\textbf{x}_{1}$, $\textbf{x}_{2}$는 3차원에서 1차원으로 span되지만, 이 둘의 선형결합으로 이루어진 $\textbf{x}_{n}$은 2차원이 된다.

 

일반화하여 식으로 표현하면 다음과 같다.

 

$$ A(c_{1}\textbf{x}_{1})=0\\ A(c_{2}\textbf{x}_{2})=0\\ A(c_{1}\textbf{x}_{1}+c_{2}\textbf{x}_{2}) =0 $$

 

이처럼 스칼라배로 표현되는 두가지 해를 선형결합함으로써 영공간을 표현할 수 있다.

이때, A의 랭크는 1이고, 영공간의 차원은 2이다.

 

 

2. 랭크와 행, 열의 수

위 두 예시를 보면 신기한 점이 있다.

행렬의 랭크와 영공간의 차원을 합하면 모두 3이 된다는 것이다.

 

여기서 다음과 같은 성질이 나온다.

 

"행렬 $A_{n\times m}$이 주어졌을 때, $dim(N(A))=m-rank(A)$"

 

영공간의 차원은 "열의 수 - 행렬의 랭크"가 된다.

 

이를 다시 정리하면 다음과 같이 된다.

 

$$ dim(N(A))=m-rank(A)\\ dim(N(A)) + dim(R(A))=m $$

 

즉, "영공간의 차원 + 행공간의 차원 = 열의 수"가 된다.

 

지금까지는 열공간 관점이었다.

그렇다면 행공간의 관점으로 볼 순 없을까?

 

행공간의 관점으로 본 것이 left null space이다.

$A\textbf{x}=0$ 이었던 것을 $\textbf{x}^{T}A=0$ 로 하여 정리한 것이다.

같은 방식으로 정리해보면,

 

"행렬 $A_{n\times m}$이 주어졌을 때, $dim(N_{L}(A))=n-rank(A)$"

 

영공간의 차원은 "행의 수 - 행렬의 랭크"가 된다.

즉, $dim(N_{L}(A))+dim(C(A))=n$이 된다.

 

 

3. 영공간과 직교하는 행공간, 열공간

내적관점으로 보자.

 

$$ \begin{bmatrix} {\color{Red} a} & {\color{Red} a} & {\color{Red} a} \\ {\color{Blue} b} & {\color{Blue} b} & {\color{Blue} b} \\ \end{bmatrix} \begin{bmatrix} x \\ x \\ x \end{bmatrix} =\begin{bmatrix} {\color{Red} 0} \\ {\color{Blue} 0} \end{bmatrix} $$

 

위의 식처럼 왼쪽행렬의 행과 오른쪽행렬의 열의 내적이 0이 된다는 것을 알 수 있다.

그러므로, 행벡터와 위 식의 해가 되는 열벡터는 직교하게 되고, 행공간과 영공간은 직교하게 된다.

 

이와 마찬가지로 열공간 또한 영공간과 직교하게 된다.