主成分分析与本页画面
过一团数据的均值画一条直线,把每个点投影到线上。投影散得多开取决于直线的方向:它们的样本方差是,是样本协方差矩阵:对角线上是两个方差,非对角线上是协方差(和除以)。主成分分析把这个方差最大的方向取作第一主成分方向,过均值沿它的直线是第一主成分PC1;PC2与它垂直。图中红线是,黄色小刻是投影,黄色粗段向两边各标出一个标准差。
沿线加垂直,总和不变
每个点到均值的距离平方,按勾股定理分成沿的部分和垂直于它的部分。对所有数据加起来,沿的方差加垂直方向的方差等于总方差,不论朝哪。所以沿线散得最开的方向,也是垂直方向剩得最少的方向:在过均值的直线里,PC1让垂直距离的平方和最小。它不是对的回归线,回归线让竖直残差的平方和最小;数据松散时两者可以差得很远。
为什么答案是特征向量
换单位,答案就变
方差和单位有关。身高用米、体重用千克,体重的数变化大得多,PC1几乎就沿体重轴,没有别的原因。变量单位不同时,通常先把每个变量标准化:减去均值,再除以标准差。这时变成相关矩阵,两个变量时PC1在45°(时在−45°),;时没有哪个方向突出。
值得注意
- 主成分是一条直线:方向只定到正负号。
- 变量很多时,同样的想法能找出少数几个方向,装下大部分方差,于是可以用更少的数描述数据。
操作
- 拖红色把手或转罗盘转动直线;选中把手后方向键每次转1°。