最小平方法

三個點很少恰好共線，所以任何直線都會錯過其中一些點。左圖是資料點、最佳直線與它的殘差，也就是鉛直方向的偏差；殘差平方加總就是SSE。右圖將同樣的三個高度組成空間中的一個向量，找最佳直線就成了將這個向量投影到平面上。你可以移動資料點、試畫自己的直線，也可以比較兩種較簡單的模型。

為什麼資料會變成一個點？將三個高度寫成一個向量$\vec b = (y_1, y_2, y_3)$，就是右圖的藍色箭頭。右圖的三根軸稱為$y_1, y_2, y_3$，因為每根軸測量的都是一個高度。一條直線在三個$x_i$處取值為$c + m x_i$，合起來就是向量$c\,\mathbf 1 + m\,\vec x$，其中$\mathbf 1 = (1, 1, 1)$。在一般模型$y = c + mx$中，只要$x_i$不全相同，隨著$c$與$m$改變，這些向量便會鋪滿通過$\mathbf 1$與$\vec x$的透明平面。因此，左圖能畫出的每條直線，都對應到該平面上的一個點。

任取一條直線，它的殘差就是$\vec b$的座標減去該直線在平面中對應點的座標，因此SSE是兩點的距離平方。所以最佳直線對應平面中最接近$\vec b$的點$\vec p$，也就是正交投影。殘差向量$\vec r = \vec b - \vec p$與平面垂直，因而同時垂直於$\mathbf 1$與$\vec x$。將這兩個直角條件寫出來，就是正規方程式：

開啟直角與平衡後，殘差會變成剛性相同的鉛直彈簧。合力與$\sum r_i$成正比，繞原點的力矩則與$\sum x_i r_i$成正比。一般模型的最佳擬合使兩者皆為0。常數模型只要求合力為0，通過原點的直線模型則只要求力矩為0。

以紅色繪出的你的直線始終屬於目前的模型，因此它對應的點$\vec q$與$\vec p$位於同一平面或同一直線。從$\vec p$到$\vec q$的位移也在其中，而$\vec r$與它垂直，所以畢氏定理將你的誤差精確分成兩部分。你的SSE恰在$\vec q = \vec p$時達到最小值。

兩個較簡單的模型各保留一個行向量。擬合$y = c$會將$\vec b$投影到通過$\mathbf 1$的直線上，得到的$c$就是三個高度的平均數。擬合$y = mx$則投影到通過$\vec x$的直線；若所有$x_i$皆為0，就只剩投影到原點。當$x_i$不全相同時，這是平面中的兩條不同直線。兩個模型互不包含，而一般直線模型的擬合至少與兩者一樣好。線性迴歸的核心也是同一種投影。