最小二乗法

3点が一直線上に並ぶことはまれなので、どの直線でもいくつかの点を通りません。左には点、最良の直線、その残差があります。残差は縦方向のずれで、その2乗の和がSSEです。右では同じ3つの高さが空間内の1つのベクトルになり、最良の直線を求めることは、そのベクトルを平面に射影することになります。点を動かしたり、自分の直線を試したり、2つのより単純なモデルを比較したりできます。

なぜデータが1つの点になるのでしょうか。3つの高さを1つのベクトル$\vec b = (y_1, y_2, y_3)$として書きます。これが右の青い矢印です。各軸は1つの高さを測るので、軸の名前は$y_1, y_2, y_3$です。直線は3つの$x_i$で値$c + m x_i$をとり、これは$\mathbf 1 = (1, 1, 1)$とおくとベクトル$c\,\mathbf 1 + m\,\vec x$になります。一般モデル$y = c + mx$で$x_i$がすべて同じでなければ、$c$と$m$を変化させると、これらのベクトルは$\mathbf 1$と$\vec x$を通る透明な平面を埋めます。つまり、左に描けるどの直線も、その平面上の1点に対応します。

任意の直線を選びます。その残差は$\vec b$の座標から平面上の対応する点の座標を引いたものなので、SSEは2点間の距離の2乗です。したがって最良の直線は、平面上で$\vec b$に最も近い点$\vec p$、つまり正射影に対応します。残差ベクトル$\vec r = \vec b - \vec p$は平面に垂直なので、$\mathbf 1$にも$\vec x$にも垂直です。この2つの直角を式で表したものが正規方程式です。

直角とつり合いをオンにすると、残差が同じ硬さの縦向きのばねになります。その合力は$\sum r_i$に比例し、原点まわりの力のモーメントは$\sum x_i r_i$に比例します。一般の直線を最良に当てはめると、両方が0になります。定数モデルでは合力だけが0になればよく、原点を通る直線では力のモーメントだけが0になれば十分です。

赤で描かれた自分の直線は、常に現在のモデルに属します。したがって、その点$\vec q$は$\vec p$と同じ平面上または直線上にあります。$\vec p$から$\vec q$への変位もその空間内にあり、$\vec r$はその空間に垂直なので、三平方の定理によって誤差が正確に分解されます。自分のSSEが最小になるのは、$\vec q = \vec p$のとき、かつそのときに限ります。

2つの小さなモデルでは、それぞれ1つの列だけを残します。$y = c$を当てはめることは、$\vec b$を$\mathbf 1$を通る直線に射影することで、$c$は高さの平均値になります。$y = mx$を当てはめる場合は、$\vec x$を通る直線に射影します。ただし、すべての$x_i$が0なら、射影先は原点だけです。$x_i$がすべて同じでなければ、これらは平面内の異なる2本の直線です。どちらのモデルも他方を含まず、一般の直線モデルは両方と同等以上によく当てはまります。線形回帰の中心にあるのも、この射影です。