DeepLearning/선형대수로 알아보는 딥러닝

[텅텅머리 시리즈] 1.5. 직교행렬과 부분공간

밥이되자 2022. 7. 4. 22:00

직교 (orthogonal)는 알다시피 "수직"을 의미하며, 선형대수에서는 "두 벡터 사이의 각도"라는 의미로 확장된다.
이번 장에서 다룰 직교의 중요한 개념은 5가지이다.

  1. 서로 직교인 벡터 x와 y는 $$x^{T}y=0$$을 통해 판정한다.
  2. 직교기저: 부분공간에 대해서 행렬의 모든 벡터 쌍은 $$v_{i}^{T}v_{j}^{T}=0$$을 만족한다.
    • 정규직교기저: 단위벡터(길이가 1)인 직교기저를 의미한다.
    • 직교기저를 정규직교기저로 만들려면 모든 기저벡터 $$v_{i}$$를 자신의 크기$$(||v_{i}||)$$로 나눈다.
  3. 직교부분공간: 공간 R의 모든 벡터는 N(영공간)의 모든 벡터와 직교한다. 3장. 네가지 기본 부분공간의 내용을 상기해보면 행고안과 영공간은 직교한다.
    • 모든 행(과 행들의 결합)은 영공간의 모든 벡터 x와 직교한다.
  4. 정규직교인 열을 가지는 행렬 Q($$R^{n}$$)는 $$||Qx||=||x||$$를 만족한다.
  5. 직교행렬운 정규직교 인 열이 있는 정사각행렬로 $Q^{T}=Q^{-1}$

#(1)직교벡터.

판정식 x^{T}y=0는 c^{2}=a^{2}+b^{2}을 만족하는 직각삼각형으로 부터 이끌어낼 수 있다.

직각삼각형에 대한 피타고라스 정리 : ||x-y||^2=||x||^2+||y||^2

  • 좌변은 (x-y)^{T}(x-y)이다. => x^{T}x+y^{T}y-x^{T}y-y^{T}x
  • 마지막 두항이 0일 때, 식 (4)를 얻을 수 있다.
    • ex) x=(1,2,2) y=(2,1,-2) x-y=(-1,1,4)
  • 내적 x^{T}y와 y^{T}x는 항상 |x||y|cos∂와 같다.

코사인법칙: ||x-y||^{2}=||x||^{2}+||y||^{2}-2|x||y|cos∂

  • 직교벡터이면 cos∂=0을 만족하므로, 마지막항이 사라진다.

#(2)직교기저
표준기저는 R^{n}에서 직교한다.

R^3의 표준기저 i,j,k
i=[1,0,0]
j=[0,1,0]
k=[0,0,1]

아마마르 행렬(Hadamard matrix)
:모든 성분이 ±1이며, 행벡터들과 열벡터들이 각각 서로 직교하는 정사각 행렬이다

R^{n}공간의 모든 부분공간은 직교기저를 가진다.

  • 3차원 공간에서 평면에 2개의 독립 벡터 a,b가 있다고 생각해보자. a의 직교 기저를 얻기 위해서는 b가 가지고 있는 a의 방향 요소를 빼면 된다.
    식시깃식식 첨부
  • 직교 기저 a^{T}c는 a^{T}b-a^{t}b=0이다. => 기저를 직교 기저로 변환할 수 있다.(그람-슈미트 아이디어)

#(3)직교부분공간
Ax=0인 A 행렬의 모든 행은 영공간의 벡터 x에 곱해져 0 값을 얻는다. 즉, A의 행공간은 A의 영공간과 직교한다.

#(4)정규직교를 갖는 행렬
#(5)직교행렬

#