[텅텅머리 시리즈] 1.0. 선형대수학 하이라이트

[텅텅머리 시리즈]는 말그대로, 선형대수 노베이스인 내가 <딥러닝을 위한 선형대수학-길버트 스트랭>을 이해하기 위해서 선형대수 기초개념을 토대로 책을 재해석하는 시리즈이다.

<딥러닝을 위한 선형대수학>의 목차대로 시리즈를 진행하면서, 책에는 쓰여져 있지 않은 선형대수 기초를 함께 알아가보자.

시리즈1탄에서는 선형식부터 특이값 분해까지 책의 1장 내용인 "선형대수학 하이라이트"를 다룰 것이며,

시리즈2탄에서는 최적화, 주성분 분석 등 1탄의 내용을 토대로 데이터 과학에서 선형대수를 응용해보는 시간을 가질 것이다.

 

딥러닝에서 선형대수학&미분적분학의 의미

딥러닝에서 가장 중요한 학문은 선형대수학이다. 딥러닝을 한번이라도 접해본 사람이라면, 딥러닝 모델의 구조가 어떻게 생겼는지 알 것이다. 딥러닝 구조는 훈련 데이터의 특성을 뽑기 위해 "피드포워드" 연결망의 가중치를 계산하는데, 가중치는 행렬의 성분으로 표현할 수 있다. 이 가중치는 확률적 경사하강을 통해 최적화된다. 따라서 가중치를 해석하고 최적화 시키기 위해, 선형대수학의 관점이 요구된다.

반면 미분적분학은 현재 가중치 x_k를 향상시키는 방향을 제시한다. 이 때 필요한 것은 적분이 아닌, 편미분이다.

 

따라서 딥러닝의 주요 방법론과 아이디어를 정리하고, 이 아이디어를 선형대수학의 언어로 어떻게 표현가능한 지 살펴보는 것이 해당 시리즈의 목표가 되겠다.

 

---

도입 전 알아둬야하는 "벡터"

이전에 포스트한 텅텅머리 시리즈 LineUp을 보면 선형식과 벡터는 선형대수의 첫장으로 대다수 서술되지만, 책에서는 다루지 않는 것을 볼 수 있다. 따라서 도입 전 주요개념을 가볍게 이해하고 넘어가고자 한다.

 

1) 벡터공간

실좌표공간(Real Coordinate Space)

단위 벡터란?

 

2) 선형결합과 선형독립

선형 결합과 생성(Span)

 

3) 벡터공간의 부분공간

부분공간의 기저

 

 

4) 벡터의 내적과 외적

 

---

1장 도입

1장에서는 선형대수의 가장 기본인 행렬곱셈부터 시작해, 행렬분해, 벡터공간/부분공간, 고유값/고유벡터까지 기본 개념을 흝어본다. 

1장을 공부하면서, 우리가 풀어내야하는 문제 5가지를 책에서는 서술하고 있으며, 문제를 단순히 계산하는 것이 아닌 문제에 함축된 수학 개념을 이해하는 것에 목표를 둔다.

1장에서 가장 기본적이고 주요한 다섯가지의 문제는 아래와 같다. 

1. Ax=b를 만족하는 x를 구하라
2. Ax=-감마x를 만족하는 ~~
..
5.

텅텅머리 시리즈가 끝나는 시점에 다섯문제에 대해 완벽하게 이해하게 될 것이라고 보장한다.

화이팅해서 달려보자!