선형대수
-
Least Squares Problem (인공지능을 위한 선형대수, 20210513~20210514)선형대수 2021. 5. 14. 17:07
핵심키워드 Least Square를 알아보기 위해 아래의 개념을 이해하고 넘어가도록 한다. 내적(Inner Product, Dot Product) 벡터의 길이(Vector Norm) 단위벡터(Unit Vector) 직교벡터(Orthogonal Vectors) Least Square를 다룰 때는 보통 방정식의 개수가 변수의 개수보다 많을 때이다. 중학교로 돌아가서 간단하게 이해해보자. $$ 66 = 2x_1 + 3x_2 $$ $$ 34 = 3x_1 + 6x_2 $$ 위의 두 식이 있다고, $x_1$과 $x_2$는 독립이라고 가정하면, 우리는 $x_1$과 $x_2$의 정확한 해를 구할 수 있다. 미지수의 개수가 2개, 식이 2개이기 때문이다. 그런데 만약 이런 상황은 어떻게 될까? $$ 66 = 2x_1 +..
-
전사함수와 일대일함수(인공지능을 위한 선형대수, 20210511)선형대수 2021. 5. 11. 14:20
학습목표 전사함수와 일대일 함수를 이해한다. 실제로 Neural networks에서 어떻게 응용될 수 있는지 확인한다. Definition을 해석해보면 $T : \mathbb{R}^n \to \mathbb{R}^m $으로 매핑되는 변환 $T$에 대해서, onto라고 불리기 위해서는 각각의 $\mathbb{R}^n$(치역)에 속하는 $b$의 값이 $\mathbb{R}^m$에 포함되는 정의역의 image(상, 혹은 output)에 적어도 하나는 포함되어야 한다. $ \mathbb{R}^n $의 원소는 $ \mathbb{R}^m $의 정의역의 결과값의 원소와 최소한 하나는 대응되어야 한다는 말이다. 공역 = 치역이 되는 경우가 ONTO인 것이다. 예를 들어, 3차원 벡터를 2차원 벡터로 보내는 어떤 변환 $T..
-
선형변환 with Neural Networks(인공지능을 위한 선형대수, 20210507)선형대수 2021. 5. 7. 13:53
이번 포스트에는 아래의 블로그도 같이 참조하였다. Home - colah's blog Changing Model Behavior at Test-Time Using Reinforcement Learning On ArXiv [PDF] colah.github.io 앞서서 선형변환이 어떤 것인지 배웠다. 2차원에서 2차원으로 변환이 되는 Neural Network의 Layer를 생각해보자. bias term은 현재 없다고 한다. 선형변환이 되는 것을 시각적으로 표현한 것이 있는데 이는 위의 블로그를 참조하면 확인할 수 있다. Nueral Network에서 이것이 어떻게 작용하는지 간단한 그림과 같이 알아보자. 4개의 픽셀을 가지고 있는 그림이 있다고 하자. 우선 이 그림의 픽셀값은 vectorizing되어서 초..
-
선형변환(인공지능을 위한 선형대수, 20210505)선형대수 2021. 5. 7. 13:14
행렬에 의해서의 변환을 알아보도록 하자. Domain : 정의역 Co-domain : 공역( 함수의 출력값으로 가능한 모든 output의 집합) Image : 함수의 상. 함수의 output, $f(1) = 5, f(3) = 8$이라면 5,8은 Image Range : 치역 공역과 치역의 차이는 실제로 함수값으로 쓰여지는 3,5,7,9는 치역이며 1~10은 공역이라고 할 수 있다. Note : 정의역에 존재하는 하나하나의 값은 전부 mapping되어야 하며, 하나의 정의역에 대해 2번 mapping되면 되지 않는다. 이러한 이해를 바탕으로 Linear Transformation(선형 변환)을 알아보자. 선형 변환을 알게 된다면, 선형대수에서는 거의 모든 것이 행렬로 표현이 되는데 이것을 왜 행렬학이라고 ..
-
부분공간의 기저와 차원(인공지능을 위한 선형대수, 20210504)선형대수 2021. 5. 4. 16:20
1. Span과 Subspace subspace는 span과 유사한 개념이다. 먼저 전체집합(Universial Set)과 부분집합(Subset)에 대해 잠시 설명하자면, $R^3$공간의 전체집합은 3차원 공간상에 존재하는 모든 벡터들을 다 모아놓은 집합이다. 그리고 여기서의 부분집합은 [ 1, 2, 3 ], [ 5, 4, 2 ]이 두개의 원소로 이루어지는 부분집합을 생각해 볼 수 있다. subspace는 부분집합은 부분집합인데 무엇인가에 닫혀있다라고 하는 조건이 추가된 것이다. 닫혀있다라는 것은, 선형결합에 닫혀있을 때라는 말이다. 그렇다면, $ s = \{2 \} $라는 집합으로 예를 들어보자. $s$에서 두 개의 값을 뽑아서(중복포함) 곱셈을 했을 때, 곱셈을 한 output이 다시 저 $s$라는 ..
-
선형독립과 선형종속(인공지능을 위한 선형대수, 20210503)선형대수 2021. 5. 3. 16:08
선형대수에 대한 이해를 돕기 위해 edwith의 인공지능을 위한 선형대수 수업을 듣고 작성한 복기내용입니다. 선형독립의 이야기를 하기 전에 잠시 이전 강의를 이어서 설명하자면, 이전 강의에서는 선형결합을 통해 해가 존재하는 방법을 찾는 이야기를 했다. 해가 있다라는 말은, 아래와 같이 $a_1x_1 + a_2x_2 + a_3x_3 = b$ 에서 $b$가 $a_1, a_2, a_3$의 span에 포함된다는 의미이다. b가 span에 포함된다면, 해가 오직 하나만 있을 수도 혹은 무수히 많을 수도 있다. 그리고 이것을 이해하면 선형독립과 선형종속을 이해할 수 있다. $a_1x_1 + a_2x_2 + a_3x_3 = b $라는 식을 통해 해가 하나만 존재할 때와 여러 개 존재할 때를 알아보고 이를 통해 선형독..
-
선형결합 (인공지능을 위한 선형대수, 20210422)선형대수 2021. 4. 22. 12:47
선형대수에 대한 이해를 돕기 위해 edwith의 인공지능을 위한 선형대수 수업을 듣고 작성한 복기내용입니다. 선형대수에서 선형결합이란, p개의 벡터가 주어져 있을 때 p개의 상수배를 하여 더해주는 형태를 말한다. 그리고 아래와 같이 3차원에 존재하는 행렬 $A$를 각각의 컬럼벡터 $a_1, a_2, a_3$로 정의하고 $a_1x_1 + a_2x_2 + a_3x_3 = b$로 변환시킬 수 있다. 이런 형태를 벡터 방정식이라고 부른다. 이를 통해 이 방정식의 Solution(해)이 있는지 없는지를 따지는 기준으로 활용할 수 있다. 이를 위해서는 먼저 Span이라는 개념을 이해할 필요가 있다. 만약 재료벡터(v)가 p개있고, p차원 공간에 있다고 가정하자. 그리고 이 재료벡터들에 대해 사용할 수 있는 계수 혹..
-
선형방정식과 선형시스템 ( 인공지능을 위한 선형대수, 20210421)선형대수 2021. 4. 21. 17:38
선형대수에 대한 이해를 돕기 위해 edwith의 인공지능을 위한 선형대수 수업을 듣고 작성한 복기내용입니다. 에듀케이션위드 : edwith 에드위드(edwith)는 네이버(NAVER)와 네이버 커넥트재단(NAVER Connect)이 제공하는 온라인 강좌(MOOC : Massive Online Open Course) 교육 플랫폼입니다. 에듀케이션위드(education with) 에드위드(edwith)로 분야별 명 www.edwith.org 선형대수를 이해하기 위해서는 먼저 선형시스템이 무엇인지 알아야 한다. 이 선형시스템을 이해하기 위해 선형식의 개념을 알아보도록 하자. $x_1, x_2, x_3 ... x_n$은 우리가 풀어야하는 변수들, $a_1, a_2, a_3 ... a_n$은 우리가 가지고 있는 ..