正交投影

正交投影找出子空間中離給定向量最近的點。本頁的子空間$S$是通過原點O的平面或直線，給定向量為$\vec b$。它的投影$\vec p$位於$S$中，誤差$\vec e = \vec b - \vec p$則與$S$成直角。你可以移動$\vec b$、改變$S$，將$\vec p$與$S$中的其他點比較，也可以觀察$\vec b$在兩軸上的影子何時相加恰好等於$\vec p$。

為什麼直角會給出最近點？在$S$中另取一點$q$。從$q$到$\vec p$的線段位於$S$內，因此與$\vec e$垂直。$\vec b$、$\vec p$與$q$三點構成直角三角形，直角在$\vec p$處，由畢氏定理可得

因此，除非$q$就是$\vec p$，否則$\vec b$到$q$的距離大於到$\vec p$的距離。反過來也成立：若$\vec e$朝$S$中的某個方向傾斜，將$\vec p$往那個方向稍微移動，就能更接近$\vec b$。所以在平面中，最近點就是讓$\vec e$同時垂直於$\vec u$與$\vec w$的那一點。在直線上，只須垂直於$\vec u$即可。

求$\vec p$，就是解這些直角條件。在直線上，$\vec p$是$\vec u$的倍數，而條件$\vec e\cdot\vec u = 0$決定了這個倍數：

在平面中，令$\vec p = c_1\vec u + c_2\vec w$。條件$\vec e\cdot\vec u = 0$與$\vec e\cdot\vec w = 0$成為關於$c_1$與$c_2$的兩個一次方程，稱為正規方程式：

讀數同時以座標，以及$\vec u$與$\vec w$的線性組合表示$\vec p$。在同一平面內拖曳$\vec u$與$\vec w$，係數會改變，但$\vec p$不變。投影只取決於子空間本身，與用哪些向量描述它無關。

當$\vec u$與$\vec w$垂直時，兩個方程彼此獨立。每個係數只取決於一根軸，$\vec p$就是$\vec b$在兩軸上的影子之和：

對斜軸而言，這個捷徑通常行不通。計算每個影子時都忽略另一根軸，因此影子之和$s$通常不會落在$\vec p$上。此時讀數顯示，$\vec b - s$至少有一個直角條件不成立。讓w垂直於u會將$\vec w$換成它垂直於$\vec u$的部分，這是格拉姆–施密特正交化的一步。平面仍是原來的平面，但兩根軸現在互相垂直，對任何$\vec b$，影子之和都等於$\vec p$。

通過$(1, 1, 1)$的對角線提供了一個熟悉的例子。將$\vec b$投影到這條直線，等於把$\vec b$的每個分量換成各分量的平均數，而$|\vec e|^2$就是各分量與平均數之差的平方和。最小平方法迴歸使用的也是這種投影。