선형독립과 선형종속(인공지능을 위한 선형대수, 20210503)

선형대수에 대한 이해를 돕기 위해 edwith의 인공지능을 위한 선형대수 수업을 듣고 작성한 복기내용입니다.

 

  선형독립의 이야기를 하기 전에 잠시 이전 강의를 이어서 설명하자면, 이전 강의에서는 선형결합을 통해 해가 존재하는 방법을 찾는 이야기를 했다. 해가 있다라는 말은, 아래와 같이 $a_1x_1 + a_2x_2 + a_3x_3 = b$ 에서 $b$가 $a_1, a_2, a_3$의 span에 포함된다는 의미이다. b가 span에 포함된다면, 해가 오직 하나만 있을 수도 혹은 무수히 많을 수도 있다. 그리고 이것을 이해하면 선형독립과 선형종속을 이해할 수 있다.

$a_1x_1 + a_2x_2 + a_3x_3 = b $라는 식을 통해 해가 하나만 존재할 때와 여러 개 존재할 때를 알아보고 이를 통해 선형독립과 선형종속을 이해해보도록 하자. 위의 식에서 만약 v_1과 v_2로만 $b$를 구할 수 있을 때 식을 이렇게 표현할 수가 있다.

$$0.6\times v_1 + 1.2\times v_2 + 0\times v_3=b$$

왜냐하면 $v_3$가 없어도 $b$를 표현할 수 있기 때문이다. 

 

이번에는 아까는 사용하지 않았던 $v_3$ 그리고 $v_1$을 활용해서도 $b$를 구할 수 있다고 하자.

$$0.3\times v_1 + 0\times v_2 + 1.6\times v_3 = b$$

 

이렇게 b를 구할 수 있는 방법이 여러 개가 존재하게 되면, 결국은 $v_1, v_2, v_3$의 계수가 여러 개 존재할 수 있다라는 말이 되며 이는 다시 말하면, 해가 여러 개가 있을 수가 있다는 말이 된다. 이러한 경우에 각각의 벡터들은 $b$라는 정답을 구하는데 서로가 의존적이다. 그래서 이런 경우에는 선형의존적이다, 선형독립이 아니다라는 말과 같은 말이 된다.

 

예를 들어, 첫 번째 컬럼벡터가 $\begin{bmatrix} 1\\2\\3\end{bmatrix}$

두 번째 컬럼벡터가 첫 번째 컬럼벡터의 상수배 (예를 들어$\begin{bmatrix} 4\\5\\6\end{bmatrix}$ )라고 하자.

이값들을 식으로 나타내면,

$$\begin{bmatrix} 1 & 2 \\ 2 & 4 \\ 3 & 6 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} b_1 \\ b_2 \\ b_3 \end{bmatrix}$$

이며 이를 

$$A\mathbb{x}=b$$

로 나타내자.

이 때 행렬 $A$는 선형종속이다. 왜냐하면 첫 번째 컬럼벡터가 두 번째 컬럼벡터를 나타낼 수 있기 때문이다. 이럴 경우 컬럼벡터는 2개임에도 불구하고 두 번째 컬럼벡터는 첫 번째 컬럼 벡터의 Span안에 포함되게 된다. 

 

간단한 질문을 하나 하면, 3차원에 4개의 벡터가 존재한다면 우리는 이 벡터들을 보지않고도 선형종속이라는 것을 알 수 있다. 먼저 차례대로 들어온 3개의 벡터가 각각 선형독립이라고 생각하자. 그렇게 되면 span은 3차원 공간 전체를 차지하게 되는데 그렇게 되면 4번째의 벡터가 어디로 들어오게 되던지 이 span안에 포함되게 된다. 그래서 선형종속이 되는 것이다.

 

이러한 이해를 바탕으로 아래의 선형종속과 선형독립의 정의에 대해서 알아보도록 하자.

 $p$개의 벡터가 존재하고 $p-1$개의 벡터로 만든 span에 $p$번째 벡터가 포함된다면  ${v_1, v_2, ..., v_p}$ 는 선형종속이며 그렇지 않는 경우 ${ v_1, v_2,  ... , v_p }$는 선형독립이다. 바꿔말하면, $p$개의 벡터가 존재할 때, $p-1$개의 벡터들의 선형결합으로 $p$번째의 벡터를 표현할 수 있을 때 선형종속, 그렇지 않으면 선형독립이다.

 

$$\begin{bmatrix} 1 & 4 & 9 \\ 3 & 5 & 13 \\ 4 & 4 & 12 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} b_1 \\ b_2 \\ b_3 \end{bmatrix}$$

위의 벡터는 선형종속이다. 왜냐하면 3번째 컬럼벡터 $c_3$은 $c_3=c_1+2c_2$로 표현이 가능하기 때문이다. 즉 1번째, 2번째 컬럼의 Span안에 3번째 컬럼이 포함된다.

지금까지의 이야기를 요약하자면,

• $A\mathbb{x} = b$의 식에서 해가 여러 개 존재할 때 우리는 벡터가 선형종속이라고 표현하고 해가 하나만 존재하면 선형독립이라고 표현한다.
• $i-1$개의 벡터로 만든 $Span_{(i-1)}$에 $i$번째 벡터 $v_i$가 포함되면, 이를 선형종속이라고 한다.

선형독립의 formal definition

  $x_1v_1 + x_2v_2 + x_3v_3 ... x_pv_p = b$라는 식이 존재한다고 하자( $A\mathbb{x}=b$로 표현할 수도 있다 ).여기서 해를 얻는 가장 간단한 방법 중에 하나는 바로 $b$라는 벡터를 영벡터로 바꾸는 것이다.

$$ A\mathbb{x}=\textbf{0} $$

그렇게 됐을 때 벡터 $\mathbb{x}$, 즉 가중치 혹은 계수들을 나타내는 행렬 $A$의 구성요소들인 $\begin{bmatrix} x_1 \\ x_2 \\ x_3 \\ ... \\ x_p \end{bmatrix}$는 당연히 전부 0이 되어야 할 것이다. 그래야

$$ \begin{bmatrix} 0 & 0 & 0 & ... & 0 \end{bmatrix} \begin{bmatrix} v_1 \\ v_2 \\ v_3 \\ ... \\ v_p \end{bmatrix} = 0 $$

이 되기 때문이다.

이렇게 구해지는 해를 (너무 쉽고 하찮기 때문에) trivial solution이라고 부른다.

 

  trivial solution이 영벡터를 만드는 유일한 해인 경우에는 이것을 선형독립이라고 부르며 만약 계수가 전부 0이 되는 것 이외에, 영벡터를 만족하는 해가 존재 했을 때  $ { v_1, v_2, v_3 ... v_p } $의 벡터들은 선형종속이 된다.

 

  trivial solution이 영벡터를 만드는 유일한 해가 아닌 경우에 대해서 예를 들어보자.

5개의 벡터 $ v_1, v_2, v_3, v_4, v_5 $가 있다.

이를 $A\mathbb{x}=0$으로 trivial solution을 구하면 가중치 행렬 A를 구성하고 있는 컬럼벡터들이 전부 영벡터가 되어야 한다. 그러면

$$ \begin{bmatrix} 0 & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} v_1 \\ v_2 \\ v_3 \\ v_4 \\ v_5 \end{bmatrix} = 0\times v_1 + 0\times v_2 + 0\times v_3 + 0\times v_4 + 0\times v_5 = 0 $$

 

여기까지가 trivial solution이다. 그런데 만약 위의 행렬 $A$의 어떤 element인 $x_i$가 0이 아닐 때 $A\mathbb{x}=0$을 만족한다면 벡터가 선형종속이 된다. 예를 들어보자.

  행렬 $A$(가중치 행렬)의 두 번째 컬럼벡터의 element $x_i$가 0이 아닌 2이다. 그리고 v2가 [1,2]라고 가정해보자. 그러면 다음과 같은 식이 만들어 진다.

$$ a_1v_1 +2v_2 + a_3v_3 + a_4v_4 + a_5v_5 = 0 $$

$v_2$는 $\begin{bmatrix} 1 \\ 2 \end{bmatrix}$이므로 $2v_2$는 $\begin{bmatrix} 2 \\ 4 \end{bmatrix}$가 되는데, 영벡터가 되기 위해서는 v1, v3, v4, v5가 결합하여 [-2,-4]를 만들어 다시 영벡터가 되어야 한다는 뜻이다. v2가 이동한 방향이 [1,5]라고 하자. 이 때 v1, v3, v4, v5중 어떤 벡터 혹은 combination이 v2가 이동한 방향만큼([1,5]만큼) 반대로 움직이는 값([-1, -5])이 있다는 것을 뜻하며 그렇기 때문에 {v1,v2,v3,v4,v5}는 선형종속이 된다는 말이 된다.

  

  그렇다면 $x_iv_2$인 [1, 5]를 다시 영벡터로 만들기 위해 [-1, -5]를 만들어야 하는데, v1, v3, v4, v5중에 어떤 벡터는 꼭 써야하고 어떤 벡터는 쓰지 않아도 될 수가 있다. 그렇다면 v1, v2, v4에 해당하는 coefficient는 nonzero, v3, v5에 해당하는 coefficient는 0이라고 생각해보자. 그러면 아래와 같은 식이 0을 만족해야 한다.

 

$$ a_1*v_1 + a_2*v_2 + a_3*v_3 + a_4 * v_4 + a_5 * v_5 = 0 $$

$$ a_3,\, a_5\, is\, zero\, so,\, a_1*v_1 + a_2*v_2 + a_4*v_4 = 0 $$

$$ a_1*v_1 + a_2*v_2 = -a_4*v_4 $$

$$ \frac{a_1}{-a_4}*v_1 + \frac{a_2}{-a_4}*v_2 = v_4 $$

 

위의 정의에서 $a_1, a_2, a_4$는 nonzero라고 하였으므로(분모 0이 아님) v_4는 v_1과 v_2의 선형결합으로 표현이 되는 것을 확인할 수 있다.

  아래에는 위의 이야기를 식으로 정리한 것이다. $ { v_1, v_2, ... v_p } $가 존재하고, $ x_j \ne 0 $인 $v_p$의 개수를 $j$개라고 할 때 (즉 nonzero일 때) $ v_j $를 ${ v_1, v_2, ... v_{j-1} }$ 의 벡터들의 선형결합으로 표현 가능하다는 것을 말한다.

 

즉, 선형 종속의 경우, ${ Sapn \in {v_1, v_2} } $ 이나  ${ Sapn \in {v_1, v_2, v_3} } $이나 동일한 평면에 머물러 있게 된다.

 

그래서 만약 아래처럼 3개의 벡터가 있고 식이 $x_1v_1 + x_2v_2 + x_3v_3 = b$일 때, $v_3 = 2v_1 + 3v_2$가 성립하면, $3v_1 + 2v_2 + 1v_3 = 3v_1 + 2v_2 + (2v_1 + 3v_2 ) = 5v_1 = 5v_2$가 되며 $x_1, x_2, x_3$은 모두가 0이 되는 것 이외에 다른 해를 가지게 된다. 즉 선형종속이다.