線性代數 · 奇異值分解

奇異值分解

實的2 × 2矩陣可以寫成A = UΣVᵀ:一次旋轉(或反射)Vᵀ,沿座標軸按奇異值σ₁ ≥ σ₂ ≥ 0伸縮的Σ,再一次旋轉(或反射)U。幾何上,A把單位圓變成橢圓,橢圓的兩條半軸來自圓上兩個互相垂直的方向。

奇異值分解與本頁畫面

平面上的線性變換把單位圓變成橢圓(AA不可逆時壓成線段或一個點)。vv繞圓一圈,長度∣Av∣|Av|在某個方向v1v_1最大,為σ1\sigma_1;在與它垂直的方向v2v_2最小,為σ2\sigma_2。這兩個數是奇異值,並且Av1=σ1u1Av_1 = \sigma_1 u_1、Av2=σ2u2Av_2 = \sigma_2 u_2,單位向量u1⊥u2u_1 \perp u_2沿橢圓的兩條軸。把這些行拼起來就是A=UΣVTA = U\Sigma V^{\mathsf T}。圖中的紅色箭頭表示一個方向vv和與它垂直的方向,黃色箭頭表示它們在AA下的像。

為甚麼只有那一對保住直角

長度的平方是∣Av∣2=vT(ATA)v|Av|^2 = v^{\mathsf T}(A^{\mathsf T}A)v,而ATAA^{\mathsf T}A是對稱矩陣,有互相垂直的特徵向量:正是v1,v2v_1, v_2,特徵值是σ12,σ22\sigma_1^2, \sigma_2^2。它們的像也互相垂直,因為Av1⋅Av2=v1TATAv2=σ22 v1⋅v2=0Av_1 \cdot Av_2 = v_1^{\mathsf T}A^{\mathsf T}Av_2 = \sigma_2^2\, v_1 \cdot v_2 = 0。σ1>σ2>0\sigma_1 > \sigma_2 > 0時,這一對(不計正負號)是唯一保住直角的垂直方向,別的都會被擰歪。對A=(3045)A = \begin{pmatrix} 3 & 0 \\ 4 & 5 \end{pmatrix},(1,0)(1, 0)和(0,1)(0, 1)被送到(3,4)(3, 4)和(0,5)(0, 5),夾角只有36.87°;vv轉一圈,夾角在36.87°到143.13°之間變。σ1=σ2\sigma_1 = \sigma_2時(旋轉或反射再乘一個正數),每一對都保住直角;σ2=0\sigma_2 = 0時有一個像是零向量,談不上夾角。

轉、伸縮、轉

從右往左讀,VTV^{\mathsf T}把v1,v2v_1, v_2轉到座標軸上,Σ\Sigma沿兩軸伸縮σ1,σ2\sigma_1, \sigma_2倍,UU再轉到u1,u2u_1, u_2(det⁡A<0\det A < 0時本頁的UU還要翻轉一條軸)。各步之間的畫面是為示範選的一條路徑,只有各步本身是那幾個因子。面積乘σ1σ2=∣det⁡A∣\sigma_1\sigma_2 = |\det A|。和對角化不同,任何矩陣都能這樣分解:錯切(1101)\begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix}沒有特徵基底,奇異值卻是φ≈1.618\varphi \approx 1.618和1/φ≈0.6181/\varphi \approx 0.618。特徵值都為正的對稱矩陣,兩種分解是同一個。

奇異值說明甚麼

一個奇異值是0時,平面被壓到一條直線上;兩個都是0時,就只剩一個點:非零奇異值的個數就是秩。σ2>0\sigma_2 > 0時,比值σ1/σ2\sigma_1/\sigma_2說明橢圓有多扁,也就是用AA解方程時相對誤差最多會被放大多少。用在資料表上,同樣的方向就是主成分分析里的主成分。

值得注意

  • 每一對vi,uiv_i, u_i可以同時變號;σ1=σ2\sigma_1 = \sigma_2時方向根本不唯一。
  • 任何實的m × n矩陣都有奇異值分解,奇異值的個數是m、n中較小的那個;本頁示範2 × 2的情形。

操作

  • 沿圓拖v的尖或轉羅盤改方向;擰「步驟」滾輪,一次看一個因子。

相關概念