線形代数 · 特異値分解

特異値分解

実2 × 2行列は A = UΣVᵀ と書ける。まず Vᵀ で回転または鏡映し、Σ で各軸に沿って特異値 σ₁ ≥ σ₂ ≥ 0 の分だけ伸縮し、最後に U で回転または鏡映する。単位円の像は楕円で、直交する2方向の像がその軸になる。

特異値分解を図で見る

平面の線形変換は単位円を楕円に写す(AA が特異なら線分または点になる)。vv が円を一周するとき、像の長さ ∣Av∣|Av| は方向 v1v_1 で最大値 σ1\sigma_1、その垂直方向 v2v_2 で最小値 σ2\sigma_2 をとる。これらが特異値である。楕円の軸に沿う単位ベクトル u1⊥u2u_1 \perp u_2 を用いて Av1=σ1u1Av_1 = \sigma_1 u_1、Av2=σ2u2Av_2 = \sigma_2 u_2 と書ける。列をまとめると A=UΣVTA = U\Sigma V^{\mathsf T}。赤の矢印は方向 vv とその垂直方向、黄色は AA によるそれぞれの像を表す。

その方向だけで直角が保たれる理由

長さの二乗は ∣Av∣2=vT(ATA)v|Av|^2 = v^{\mathsf T}(A^{\mathsf T}A)v である。ATAA^{\mathsf T}A は対称行列なので、互いに直交する固有ベクトル v1,v2v_1, v_2 があり、固有値は σ12,σ22\sigma_1^2, \sigma_2^2 である。Av1⋅Av2=v1TATAv2=σ22 v1⋅v2=0Av_1 \cdot Av_2 = v_1^{\mathsf T}A^{\mathsf T}Av_2 = \sigma_2^2\, v_1 \cdot v_2 = 0 より、この2本の像も直交する。σ1>σ2>0\sigma_1 > \sigma_2 > 0 なら、符号を除き、変換後も直交する組はこれだけである。例えば A=(3045)A = \begin{pmatrix} 3 & 0 \\ 4 & 5 \end{pmatrix} は (1,0)(1, 0)、(0,1)(0, 1) を (3,4)(3, 4)、(0,5)(0, 5) に写し、像のなす角は36.87°しかない。vv を回すとこの角は36.87°から143.13°まで変わる。σ1=σ2\sigma_1 = \sigma_2 の場合(回転または鏡映の正の定数倍)、すべての直角が保たれる。σ2=0\sigma_2 = 0 なら一方の像が零ベクトルになり、角は定義できない。

回転、伸縮、回転

右から読むと、VTV^{\mathsf T} が v1,v2v_1, v_2 を座標軸に合わせ、Σ\Sigma が軸に沿って σ1,σ2\sigma_1, \sigma_2 倍に伸縮し、UU が結果を u1,u2u_1, u_2 に合わせる(ここでは det⁡A<0\det A < 0 のとき UU が片方の軸の向きも反転する)。途中のコマは表示のための補間で、分解の因子は各段階そのものである。面積の倍率は σ1σ2=∣det⁡A∣\sigma_1\sigma_2 = |\det A|。対角化と違って任意の行列に使え、せん断 (1101)\begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix} に固有ベクトルの基底がなくても特異値 φ≈1.618\varphi \approx 1.618、1/φ≈0.6181/\varphi \approx 0.618 は存在する。正の固有値をもつ対称行列では2種類の分解が一致する。

特異値からわかること

一方の特異値が0なら平面は直線に、両方が0なら点につぶれる。0でない特異値の個数が階数である。σ2>0\sigma_2 > 0 のとき σ1/σ2\sigma_1/\sigma_2 は楕円の細長さを表し、AA を用いて解を求める際に相対誤差がどれだけ増幅されうるかを示す。中心化したデータに同じ方法を用いると主成分分析の主軸が得られる。

注目する点

  • 各組 vi,uiv_i, u_i の符号は同時に反転できる。σ1=σ2\sigma_1 = \sigma_2 の場合は方向そのものも一意ではない。
  • 任意の実 m × n 行列に特異値分解があり、特異値の個数は m と n の小さい方に等しい。ここでは2 × 2の場合を扱う。

操作方法

  • 円上の v の先端をドラッグするかダイヤルを回す。手順ホイールで3つの因子を順に確認できる。

関連項目