线性回归

简单线性回归用最小二乘直线$\hat y = a + bx$由$x$预测$y$：在所有直线里，取残差平方和最小的那一条。一个点的残差$e = y - \hat y$是它在直线上方多高（在下方为负）。点不多时，每个残差配一个正方形，平方和就成了看得见的面积。你可以平移、转动自己的一条直线去找最小值，再把拟合线和一团1000个点的模拟点云对照着看。

这条线为什么经过中心$(\bar x, \bar y)$？把任意一条直线写成$y = h + b(x - \bar x)$，$h$是它在$\bar x$处的高度。它的残差加起来是$n(\bar y - h)$，平方和可以拆成两部分：

其中$S_{xx}$、$S_{yy}$、$S_{xy}$是离均差的平方和与乘积和。第一项只和高度有关，第二项只和斜率有关，所以不论斜率是多少，最好的高度都是$\bar y$：最好的直线经过中心，残差加起来为0。再绕中心转，平方和沿抛物线$P(b)$变化。只要$x$不全相同，它就只有一个最低点，在$b = S_{xy}/S_{xx}$处。

$R^2$量的是什么？过中心的水平线$y = \bar y$就是抛物线在斜率0处的那一点，它的平方和是总变差$\mathrm{SST} = S_{yy}$。回归线剩下$\mathrm{SSE}$；$y$不全相同时，$R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$就是$y$的变差中被这条线解释的比例。两个坐标都有变化时$R^2 = r^2$，所以相关系数0.5只解释四分之一。这里的“解释”是拟合，不是因果。

回归线为什么比点云平？在标准单位下，它的预测值是$\hat z_y = r\,z_x$。所以当$|r| < 1$时，一个离$\bar x$较远的点，预测值离$\bar y$的标准差个数，比它自己离$\bar x$的少。在模拟点云这样的椭圆形点云里，标准差线（斜率$\pm s_y/s_x$）沿着眼睛看到的点云走向；回归线比它平。这不是有什么力把数据往回拉：任何这样的数据都有这个效应。反过来用$y$预测$x$也一样，得到另一条过中心的线，在图上更陡。在$x$的窄竖条里求$y$的平均，在这样的点云里能看到这个效应：竖条平均靠近回归线，但不正好落在线上。“回归”这个名字来自高尔顿1886年对身高的研究：父母特别高或特别矮的，子女平均没有那么极端。

什么时候这条线会误导？把一个点上移1，它自己的拟合值上移它的杠杆值$h = 1/n + (x - \bar x)^2/S_{xx}$，离$\bar x$越远越大。在$x$方向远离其余点的孤立点，杠杆可以接近1，直线跟着它走，所以即使它和其他所有点都不一致，自己的残差也可能看着很小；就算在一大团点里，这样一个点也能把线转过去。另外，$r$可以很接近1，残差却两头为正、中间为负，排成一道弯，这是直线跟不上的形状。