最小二乘

三个点很少正好在一条直线上，所以任何一条直线都会错过其中一些点。左图是数据点、最佳直线和它的残差，也就是竖直方向上的偏差，它们的平方加起来就是SSE。右图把同样的三个高度画成空间里的一个向量，找最佳直线就是把这个向量投影到一块平面上。你可以拖动数据点，试一条自己的直线，也可以比较两种更简单的模型。

数据怎么会是一个点？把三个高度写成一个向量$\vec b = (y_1, y_2, y_3)$，就是右图那支蓝色箭头。右图的三根轴叫$y_1, y_2, y_3$，因为每一根量的都是一个高度。一条直线在三个$x_i$处的取值是$c + m x_i$，合起来就是向量$c\,\mathbf 1 + m\,\vec x$，其中$\mathbf 1 = (1, 1, 1)$。先看一般直线$y = c + mx$，并且$x_i$不全相同。$c$和$m$取遍所有数，这些向量就铺满过$\mathbf 1$和$\vec x$的那块玻璃平面。所以左图里能画的每一条直线，都是这块平面上的一个点。

随便取一条直线，它的残差就是$\vec b$的坐标减去它在平面上那个点的坐标，所以它的SSE正是这两点距离的平方。于是最佳直线落在平面上离$\vec b$最近的点$\vec p$，也就是正交投影。残差向量$\vec r = \vec b - \vec p$和平面垂直，因此同时垂直于$\mathbf 1$和$\vec x$。把这两个直角写出来，就是正规方程：

打开“直角与平衡”，残差变成一根根刚度相同的竖直弹簧。合力与$\sum r_i$成正比，绕原点的力矩与$\sum x_i r_i$成正比。一般直线的最佳拟合让两者都为0。常数模型只要求合力为0，过原点的模型只要求力矩为0。

“你的直线”画成红色，它总是当前模型里的一条直线，所以它对应的点$\vec q$和$\vec p$在同一块平面或同一条直线上。从$\vec p$到$\vec q$这一步也在那里，$\vec r$又和它垂直，勾股定理正好把你的误差分成两部分。只有$\vec q = \vec p$时，你的SSE才等于最小值。

两种小模型各只留一列。拟合$y = c$是把$\vec b$投影到过$\mathbf 1$的直线上，得到的$c$正是三个高度的平均数。拟合$y = mx$是投影到过$\vec x$的直线上，$x_i$全为0时只剩原点。只要$x_i$不全相同，这就是平面里两条不同的直线。哪个模型都不包含另一个，一般直线至少和两者一样好。线性回归的核心也是同一个投影。