线性代数 · 主成分分析

主成分分析

主成分分析寻找一团数据散得最开的方向。对两个变量,第一主成分方向是让投影方差最大的单位方向:协方差矩阵最大特征值的特征向量,那个特征值就是这个方差。第一主成分直线过均值、沿这个方向。

主成分分析与本页画面

过一团数据的均值画一条直线,把每个点投影到线上。投影散得多开取决于直线的方向uu:它们的样本方差是uTCuu^{\mathsf T} C u,C=(sx2sxysxysy2)C = \begin{pmatrix} s_x^2 & s_{xy} \\ s_{xy} & s_y^2 \end{pmatrix}是样本协方差矩阵:对角线上是两个方差,非对角线上是协方差(和除以n−1n - 1)。主成分分析把这个方差最大的方向取作第一主成分方向,过均值沿它的直线是第一主成分PC1;PC2与它垂直。图中红线是uu,黄色小刻是投影,黄色粗段向两边各标出一个标准差。

沿线加垂直,总和不变

每个点到均值的距离平方,按勾股定理分成沿uu的部分和垂直于它的部分。对所有数据加起来,沿uu的方差加垂直方向的方差等于总方差sx2+sy2=tr⁡Cs_x^2 + s_y^2 = \operatorname{tr} C,不论uu朝哪。所以沿线散得最开的方向,也是垂直方向剩得最少的方向:在过均值的直线里,PC1让垂直距离的平方和最小。它不是yy对xx的回归线,回归线让竖直残差的平方和最小;数据松散时两者可以差得很远。

为什么答案是特征向量

CC是对称矩阵,有两条互相垂直的特征向量,特征值λ1≥λ2\lambda_1 \ge \lambda_2。把uu用它们表示,uTCuu^{\mathsf T} C u就是λ1\lambda_1和λ2\lambda_2的加权平均,在第一条特征向量上最大,在第二条上最小。所以PC1、PC2就是CC的特征向量,沿它们的方差是λ1\lambda_1和λ2\lambda_2,PC1留住总方差的λ1/(λ1+λ2)\lambda_1/(\lambda_1 + \lambda_2)。实际计算常用中心化数据矩阵的奇异值分解,得到的是同样的方向。

换单位,答案就变

方差和单位有关。身高用米、体重用千克,体重的数变化大得多,PC1几乎就沿体重轴,没有别的原因。变量单位不同时,通常先把每个变量标准化:减去均值,再除以标准差。这时CC变成相关矩阵(1rr1)\begin{pmatrix} 1 & r \\ r & 1 \end{pmatrix},两个变量时PC1在45°(r<0r < 0时在−45°),λ=1±∣r∣\lambda = 1 \pm |r|;r=0r = 0时没有哪个方向突出。

值得注意

  • 主成分是一条直线:方向只定到正负号。
  • 变量很多时,同样的想法能找出少数几个方向,装下大部分方差,于是可以用更少的数描述数据。

操作

  • 拖红色把手或转罗盘转动直线;选中把手后方向键每次转1°。

相关概念