线性代数 · 奇异值分解

奇异值分解

实的2 × 2矩阵可以写成A = UΣVᵀ:一次旋转(或反射)Vᵀ,沿坐标轴按奇异值σ₁ ≥ σ₂ ≥ 0伸缩的Σ,再一次旋转(或反射)U。几何上,A把单位圆变成椭圆,椭圆的两条半轴来自圆上两个互相垂直的方向。

奇异值分解与本页画面

平面上的线性变换把单位圆变成椭圆(AA不可逆时压成线段或一个点)。vv绕圆一圈,长度∣Av∣|Av|在某个方向v1v_1最大,为σ1\sigma_1;在与它垂直的方向v2v_2最小,为σ2\sigma_2。这两个数是奇异值,并且Av1=σ1u1Av_1 = \sigma_1 u_1、Av2=σ2u2Av_2 = \sigma_2 u_2,单位向量u1⊥u2u_1 \perp u_2沿椭圆的两条轴。把这些列拼起来就是A=UΣVTA = U\Sigma V^{\mathsf T}。图中的红色箭头表示一个方向vv和与它垂直的方向,黄色箭头表示它们在AA下的像。

为什么只有那一对保住直角

长度的平方是∣Av∣2=vT(ATA)v|Av|^2 = v^{\mathsf T}(A^{\mathsf T}A)v,而ATAA^{\mathsf T}A是对称矩阵,有互相垂直的特征向量:正是v1,v2v_1, v_2,特征值是σ12,σ22\sigma_1^2, \sigma_2^2。它们的像也互相垂直,因为Av1⋅Av2=v1TATAv2=σ22 v1⋅v2=0Av_1 \cdot Av_2 = v_1^{\mathsf T}A^{\mathsf T}Av_2 = \sigma_2^2\, v_1 \cdot v_2 = 0。σ1>σ2>0\sigma_1 > \sigma_2 > 0时,这一对(不计正负号)是唯一保住直角的垂直方向,别的都会被拧歪。对A=(3045)A = \begin{pmatrix} 3 & 0 \\ 4 & 5 \end{pmatrix},(1,0)(1, 0)和(0,1)(0, 1)被送到(3,4)(3, 4)和(0,5)(0, 5),夹角只有36.87°;vv转一圈,夹角在36.87°到143.13°之间变。σ1=σ2\sigma_1 = \sigma_2时(旋转或反射再乘一个正数),每一对都保住直角;σ2=0\sigma_2 = 0时有一个像是零向量,谈不上夹角。

转、伸缩、转

从右往左读,VTV^{\mathsf T}把v1,v2v_1, v_2转到坐标轴上,Σ\Sigma沿两轴伸缩σ1,σ2\sigma_1, \sigma_2倍,UU再转到u1,u2u_1, u_2(det⁡A<0\det A < 0时本页的UU还要翻转一条轴)。各步之间的画面是为演示选的一条路径,只有各步本身是那几个因子。面积乘σ1σ2=∣det⁡A∣\sigma_1\sigma_2 = |\det A|。和对角化不同,任何矩阵都能这样分解:剪切(1101)\begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix}没有特征基,奇异值却是φ≈1.618\varphi \approx 1.618和1/φ≈0.6181/\varphi \approx 0.618。特征值都为正的对称矩阵,两种分解是同一个。

奇异值说明什么

一个奇异值是0时,平面被压到一条直线上;两个都是0时,就只剩一个点:非零奇异值的个数就是秩。σ2>0\sigma_2 > 0时,比值σ1/σ2\sigma_1/\sigma_2说明椭圆有多扁,也就是用AA解方程时相对误差最多会被放大多少。用在数据表上,同样的方向就是主成分分析里的主成分。

值得注意

  • 每一对vi,uiv_i, u_i可以同时变号;σ1=σ2\sigma_1 = \sigma_2时方向根本不唯一。
  • 任何实的m × n矩阵都有奇异值分解,奇异值的个数是m、n中较小的那个;本页演示2 × 2的情形。

操作

  • 沿圆拖v的尖或转罗盘改方向;拧“步骤”滚轮,一次看一个因子。

相关概念