線形代数 · 主成分分析

主成分分析

主成分分析はデータが最も広がる方向を探す。2変量では、射影の分散が最大になる単位方向が第1主成分方向で、共分散行列の最大固有値に対応する固有ベクトルに一致する。その固有値が射影の分散であり、平均を通ってその方向に伸びる直線が第1主成分の軸である。

主成分分析を図で見る

点群の平均を通る直線に各点を射影する。方向 uu に応じて射影の標本分散は uTCuu^{\mathsf T} C u となる。C=(sx2sxysxysy2)C = \begin{pmatrix} s_x^2 & s_{xy} \\ s_{xy} & s_y^2 \end{pmatrix} は標本共分散行列で、対角に2つの分散、非対角に共分散が入る(和を n−1n - 1 で割る)。主成分分析は射影の分散が最大となる方向を第1主成分方向とする。平均を通りこの方向に伸びる軸が PC1、それに垂直な軸が PC2。図では赤が uu、黄色の目盛りが射影、太い黄色の棒が平均から両側に1標準偏差の範囲を示す。

平行・垂直方向の分散の和は一定

三平方の定理により、平均から各点までの距離の二乗は uu に平行な成分と垂直な成分の二乗和になる。全点について足すと、uu に沿う分散と垂直方向の分散の和は uu の向きによらず全分散 sx2+sy2=tr⁡Cs_x^2 + s_y^2 = \operatorname{tr} C に等しい。平行方向の分散が最大なら、垂直方向に残る分散は最小となる。したがって平均を通る直線のうち PC1 は垂直距離の二乗和を最小にする。xx に対する yy の回帰直線が最小にするのは縦方向の残差の二乗和であり、点群のばらつきが大きいと2本の向きはかなり異なる。

なぜ固有ベクトルが答えになるのか

CC は対称なので、直交する2本の固有ベクトルと固有値 λ1≥λ2\lambda_1 \ge \lambda_2 をもつ。uu をこれらの成分で表すと uTCuu^{\mathsf T} C u は λ1\lambda_1 と λ2\lambda_2 の加重平均になり、第1固有ベクトルで最大、第2で最小になる。PC1 と PC2 は CC の固有方向で、分散はそれぞれ λ1\lambda_1、λ2\lambda_2、PC1 の寄与率は λ1/(λ1+λ2)\lambda_1/(\lambda_1 + \lambda_2) である。実際には中心化したデータ行列の特異値分解から同じ方向を求めることも多い。

単位を変えると結果も変わる

分散は単位に依存する。身長をメートル、体重をキログラムで測ると数値のばらつきが体重の方が大きく、それだけで PC1 はほぼ体重軸を向く。単位の異なる変数は通常、平均を引き標準偏差で割って標準化する。CC は相関行列 (1rr1)\begin{pmatrix} 1 & r \\ r & 1 \end{pmatrix} となり、2変量の場合、PC1 は45°(r<0r < 0 なら−45°)で λ=1±∣r∣\lambda = 1 \pm |r| となる。r=0r = 0 なら特別な方向はない。

注目する点

  • 主成分の軸は直線なので、その方向は符号を除いて定まる。
  • 多変量でも同じ考え方で全分散の大半を含む少数の方向を求め、より少ない数値でデータを記述できる。

操作方法

  • 赤いハンドルをドラッグするかダイヤルを回して直線を回す。ハンドルにフォーカスして矢印キーを押すと1°ずつ回る。

関連項目