線性代數 · 主成分分析

主成分分析

主成分分析尋找一團資料散得最開的方向。對兩個變數,第一主成分方向是讓投影變異數最大的單位方向:共變異數矩陣最大特徵值的特徵向量,那個特徵值就是這個變異數。第一主成分直線過平均值、沿這個方向。

主成分分析與本頁畫面

過一團資料的平均值畫一條直線,把每個點投影到線上。投影散得多開取決於直線的方向uu:它們的樣本變異數是uTCuu^{\mathsf T} C u,C=(sx2sxysxysy2)C = \begin{pmatrix} s_x^2 & s_{xy} \\ s_{xy} & s_y^2 \end{pmatrix}是樣本共變異數矩陣:對角線上是兩個變異數,非對角線上是共變異數(和除以n−1n - 1)。主成分分析把這個變異數最大的方向取作第一主成分方向,過平均值沿它的直線是第一主成分PC1;PC2與它垂直。圖中紅線是uu,黃色小刻是投影,黃色粗段向兩邊各標出一個標準差。

沿線加垂直,總和不變

每個點到平均值的距離平方,按勾股定理分成沿uu的部分和垂直於它的部分。對所有資料加起來,沿uu的變異數加垂直方向的變異數等於總變異數sx2+sy2=tr⁡Cs_x^2 + s_y^2 = \operatorname{tr} C,不論uu朝哪。所以沿線散得最開的方向,也是垂直方向剩得最少的方向:在過平均值的直線里,PC1讓垂直距離的平方和最小。它不是yy對xx的迴歸線,迴歸線讓竪直殘差的平方和最小;資料松散時兩者可以差得很遠。

為甚麼答案是特徵向量

CC是對稱矩陣,有兩條互相垂直的特徵向量,特徵值λ1≥λ2\lambda_1 \ge \lambda_2。把uu用它們表示,uTCuu^{\mathsf T} C u就是λ1\lambda_1和λ2\lambda_2的加權平均,在第一條特徵向量上最大,在第二條上最小。所以PC1、PC2就是CC的特徵向量,沿它們的變異數是λ1\lambda_1和λ2\lambda_2,PC1留住總變異數的λ1/(λ1+λ2)\lambda_1/(\lambda_1 + \lambda_2)。實際計算常用中心化資料矩陣的奇異值分解,得到的是同樣的方向。

換單位,答案就變

變異數和單位有關。身高用公尺、體重用公斤,體重的數變化大得多,PC1幾乎就沿體重軸,沒有別的原因。變數單位不同時,通常先把每個變數標準化:減去平均值,再除以標準差。這時CC變成相關矩陣(1rr1)\begin{pmatrix} 1 & r \\ r & 1 \end{pmatrix},兩個變數時PC1在45°(r<0r < 0時在−45°),λ=1±∣r∣\lambda = 1 \pm |r|;r=0r = 0時沒有哪個方向突出。

值得注意

  • 主成分是一條直線:方向只定到正負號。
  • 變數很多時,同樣的想法能找出少數幾個方向,裝下大部分變異數,於是可以用更少的數描述資料。

操作

  • 拖紅色把手或轉羅盤轉動直線;選取把手後方向鍵每次轉1°。

相關概念