主成分分析を図で見る
点群の平均を通る直線に各点を射影する。方向 に応じて射影の標本分散は となる。 は標本共分散行列で、対角に2つの分散、非対角に共分散が入る(和を で割る)。主成分分析は射影の分散が最大となる方向を第1主成分方向とする。平均を通りこの方向に伸びる軸が PC1、それに垂直な軸が PC2。図では赤が 、黄色の目盛りが射影、太い黄色の棒が平均から両側に1標準偏差の範囲を示す。
平行・垂直方向の分散の和は一定
三平方の定理により、平均から各点までの距離の二乗は に平行な成分と垂直な成分の二乗和になる。全点について足すと、 に沿う分散と垂直方向の分散の和は の向きによらず全分散 に等しい。平行方向の分散が最大なら、垂直方向に残る分散は最小となる。したがって平均を通る直線のうち PC1 は垂直距離の二乗和を最小にする。 に対する の回帰直線が最小にするのは縦方向の残差の二乗和であり、点群のばらつきが大きいと2本の向きはかなり異なる。
なぜ固有ベクトルが答えになるのか
単位を変えると結果も変わる
分散は単位に依存する。身長をメートル、体重をキログラムで測ると数値のばらつきが体重の方が大きく、それだけで PC1 はほぼ体重軸を向く。単位の異なる変数は通常、平均を引き標準偏差で割って標準化する。 は相関行列 となり、2変量の場合、PC1 は45°( なら−45°)で となる。 なら特別な方向はない。
注目する点
- 主成分の軸は直線なので、その方向は符号を除いて定まる。
- 多変量でも同じ考え方で全分散の大半を含む少数の方向を求め、より少ない数値でデータを記述できる。
操作方法
- 赤いハンドルをドラッグするかダイヤルを回して直線を回す。ハンドルにフォーカスして矢印キーを押すと1°ずつ回る。