선형대수 · 특잇값 분해

특잇값 분해

실수 2 × 2 행렬은 A = UΣVᵀ로 쓸 수 있다. 먼저 Vᵀ가 회전 또는 반사하고, Σ가 각 축을 따라 특잇값 σ₁ ≥ σ₂ ≥ 0의 비율로 늘이거나 줄인 뒤, U가 다시 회전 또는 반사한다. 단위원의 상은 타원이고, 서로 수직인 두 방향의 상이 타원의 축을 정한다.

그림으로 보는 특잇값 분해

평면의 선형 변환은 단위원을 타원으로 보낸다. AA가 특이행렬이면 선분이나 점으로 줄어든다. vv가 원을 돌 때 길이 ∣Av∣|Av|는 v1v_1 방향에서 최댓값 σ1\sigma_1, 그에 수직인 v2v_2 방향에서 최솟값 σ2\sigma_2을 갖는다. 이 두 값이 특잇값이다. 타원의 축 방향 단위벡터 u1⊥u2u_1 \perp u_2을 쓰면 Av1=σ1u1Av_1 = \sigma_1 u_1, Av2=σ2u2Av_2 = \sigma_2 u_2가 되고 열을 모으면 A=UΣVTA = U\Sigma V^{\mathsf T}이다. 빨간 화살표는 vv와 그 수직 방향, 노란 화살표는 AA에 의한 상이다.

그 방향에서만 직각이 유지되는 이유

길이의 제곱은 ∣Av∣2=vT(ATA)v|Av|^2 = v^{\mathsf T}(A^{\mathsf T}A)v이다. ATAA^{\mathsf T}A은 대칭이므로 직교하는 고유벡터 v1,v2v_1, v_2가 있으며 그 고윳값은 σ12,σ22\sigma_1^2, \sigma_2^2이다. Av1⋅Av2=v1TATAv2=σ22 v1⋅v2=0Av_1 \cdot Av_2 = v_1^{\mathsf T}A^{\mathsf T}Av_2 = \sigma_2^2\, v_1 \cdot v_2 = 0이므로 두 상도 수직이다. σ1>σ2>0\sigma_1 > \sigma_2 > 0이면 부호를 제외하고 변환 후에도 직교하는 단위벡터 쌍은 이 쌍뿐이다. 예를 들어 A=(3045)A = \begin{pmatrix} 3 & 0 \\ 4 & 5 \end{pmatrix}은 (1,0)(1, 0)와 (0,1)(0, 1)을 (3,4)(3, 4)과 (0,5)(0, 5)로 보내며 그 사잇각은 36.87°뿐이다. vv을 돌리면 각은 36.87°부터 143.13°까지 변한다. σ1=σ2\sigma_1 = \sigma_2이면 회전 또는 반사에 양의 수를 곱한 변환이므로 모든 직각이 보존된다. σ2=0\sigma_2 = 0이면 한 상이 영벡터라 각이 정의되지 않는다.

회전, 늘이기, 회전

오른쪽부터 읽으면 VTV^{\mathsf T}이 v1,v2v_1, v_2을 좌표축에 맞추고 Σ\Sigma가 축을 따라 σ1,σ2\sigma_1, \sigma_2배 늘이며 UU가 결과를 u1,u2u_1, u_2 방향에 맞춘다. 여기서는 det⁡A<0\det A < 0일 때 UU이 한 축을 반전시키기도 한다. 단계 사이의 그림은 설명을 위해 고른 경로이며 각 단계 자체만 분해의 인수다. 넓이의 배율은 σ1σ2=∣det⁡A∣\sigma_1\sigma_2 = |\det A|이다. 대각화와 달리 모든 행렬에 적용된다. 전단 변환 (1101)\begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix}은 고유벡터 기저가 없어도 특잇값 φ≈1.618\varphi \approx 1.618와 1/φ≈0.6181/\varphi \approx 0.618을 갖는다. 고윳값이 양수인 대칭행렬에서는 두 분해가 일치한다.

특잇값이 알려 주는 것

특잇값 하나가 0이면 평면은 직선으로, 둘 다 0이면 점으로 줄어든다. 0이 아닌 특잇값의 수는 행렬의 계수다. σ2>0\sigma_2 > 0일 때 비 σ1/σ2\sigma_1/\sigma_2은 타원이 얼마나 길쭉한지, AA를 써서 연립방정식을 풀 때 상대오차가 얼마나 증폭될 수 있는지 나타낸다. 중심화한 자료에서는 같은 방향들이 주성분 분석의 주축이다.

살펴볼 점

  • 각 쌍 vi,uiv_i, u_i의 부호는 함께 뒤집어도 된다. σ1=σ2\sigma_1 = \sigma_2이면 방향 자체도 유일하지 않다.
  • 모든 실수 m × n 행렬에는 특잇값 분해가 있으며 특잇값의 수는 m과 n 중 작은 값이다. 여기서는 2 × 2인 경우를 다룬다.

조작 방법

  • 단위원 위의 v 끝점을 끌거나 다이얼을 돌리세요. 단계 휠을 돌리면 세 인수를 하나씩 볼 수 있습니다.

관련 개념