主成分分析與本頁畫面
過一團資料的平均值畫一條直線,把每個點投影到線上。投影散得多開取決於直線的方向:它們的樣本變異數是,是樣本共變異數矩陣:對角線上是兩個變異數,非對角線上是共變異數(和除以)。主成分分析把這個變異數最大的方向取作第一主成分方向,過平均值沿它的直線是第一主成分PC1;PC2與它垂直。圖中紅線是,黃色小刻是投影,黃色粗段向兩邊各標出一個標準差。
沿線加垂直,總和不變
每個點到平均值的距離平方,按勾股定理分成沿的部分和垂直於它的部分。對所有資料加起來,沿的變異數加垂直方向的變異數等於總變異數,不論朝哪。所以沿線散得最開的方向,也是垂直方向剩得最少的方向:在過平均值的直線里,PC1讓垂直距離的平方和最小。它不是對的迴歸線,迴歸線讓竪直殘差的平方和最小;資料松散時兩者可以差得很遠。
為甚麼答案是特徵向量
換單位,答案就變
變異數和單位有關。身高用公尺、體重用公斤,體重的數變化大得多,PC1幾乎就沿體重軸,沒有別的原因。變數單位不同時,通常先把每個變數標準化:減去平均值,再除以標準差。這時變成相關矩陣,兩個變數時PC1在45°(時在−45°),;時沒有哪個方向突出。
值得注意
- 主成分是一條直線:方向只定到正負號。
- 變數很多時,同樣的想法能找出少數幾個方向,裝下大部分變異數,於是可以用更少的數描述資料。
操作
- 拖紅色把手或轉羅盤轉動直線;選取把手後方向鍵每次轉1°。