正交投影

正交投影要找的是子空间里离给定向量最近的点。本页的子空间$S$是过原点O的平面或直线，给定的向量是$\vec b$。$\vec b$的投影$\vec p$在$S$里，误差$\vec e = \vec b - \vec p$和$S$成直角。你可以移动$\vec b$、改变$S$，拿$S$里别的点和$\vec p$比较，也可以看$\vec b$在两根轴上的影子什么时候加起来正好是$\vec p$。

为什么直角对应最近？在$S$里另取一点$q$。从$q$到$\vec p$的线段在$S$里，所以和$\vec e$垂直。$\vec b$、$\vec p$、$q$三点构成一个直角三角形，直角在$\vec p$处，由勾股定理得

所以只要$q$不是$\vec p$，$\vec b$到$q$就比到$\vec p$远。反过来也一样：如果$\vec e$朝$S$里某个方向倾斜，把$\vec p$往那边挪一点，就会离$\vec b$更近。因此在平面里，最近点就是$\vec e$同时垂直于$\vec u$和$\vec w$的那一点。在直线上，$\vec e$垂直于$\vec u$就够了。

求$\vec p$，就是解这几个直角条件。在直线上，$\vec p$是$\vec u$的倍数，由$\vec e\cdot\vec u = 0$定出这个倍数：

在平面里，设$\vec p = c_1\vec u + c_2\vec w$。$\vec e\cdot\vec u = 0$和$\vec e\cdot\vec w = 0$这两个条件变成关于$c_1$、$c_2$的两个一次方程，叫作法方程：

读数里，$\vec p$既写成坐标，也写成$\vec u$、$\vec w$的组合。在同一个平面里拖动$\vec u$和$\vec w$，系数会跟着变，$\vec p$却不动。投影只取决于子空间本身，和用哪两个向量来描述它无关。

$\vec u$和$\vec w$垂直时，两个方程互不牵连。每个系数只和一根轴有关，$\vec p$就是$\vec b$在两根轴上的影子之和：

轴是斜的，这个办法一般就不灵了。每个影子都当另一根轴不存在，加起来的$s$通常落不到$\vec p$上。落不到时，读数也显示$\vec b - s$至少有一个直角不成立。“让w垂直于u”这个键把$\vec w$换成它垂直于$\vec u$的那部分，这是格拉姆–施密特正交化的一步。平面还是原来的平面，两根轴却垂直了，这时对任何$\vec b$，影子之和都正好是$\vec p$。

过$(1, 1, 1)$的对角线是个熟悉的例子。把$\vec b$投影到这条直线上，$\vec b$的每个分量都换成了各分量的平均数，$|\vec e|^2$就是各分量与平均数之差的平方和。最小二乘回归用的也是这种投影。