直交射影

直交射影は、与えられたベクトルに最も近い点を部分空間の中から見つけます。ここでは、部分空間$S$は原点Oを通る平面または直線で、ベクトルは$\vec b$です。その射影$\vec p$は$S$内にあり、誤差$\vec e = \vec b - \vec p$は$S$に直交します。$\vec b$を動かしたり$S$を変えたり、$\vec p$と$S$内の別の点を比べたりできます。また、$\vec b$の2本の軸への影を足すと$\vec p$になるのはどんなときか、確かめられます。

なぜ直角になる点が最も近いのでしょうか。$S$内の別の点$q$を取ります。$q$から$\vec p$への線分は$S$内にあるので、$\vec e$に垂直です。$\vec b$、$\vec p$、$q$の3点は$\vec p$に直角がある直角三角形を作り、三平方の定理から次が得られます。

したがって、$q$が$\vec p$そのものでない限り、$\vec b$から$q$までの距離は$\vec p$までの距離より長くなります。逆も成り立ちます。もし$\vec e$が$S$内のある方向へ傾いていれば、$\vec p$をその方向に少し動かすことで$\vec b$に近づけられるからです。よって平面では、$\vec e$が$\vec u$と$\vec w$の両方に垂直になる点が最も近い点です。直線では、$\vec u$に垂直であれば十分です。

$\vec p$を求めるには、この直角の条件を解きます。直線上では$\vec p$は$\vec u$の定数倍であり、条件$\vec e\cdot\vec u = 0$によってその倍率が決まります。

平面では$\vec p = c_1\vec u + c_2\vec w$と表します。2つの条件$\vec e\cdot\vec u = 0$と$\vec e\cdot\vec w = 0$は、$c_1$と$c_2$についての2つの一次方程式になり、正規方程式と呼ばれます。

数値欄には、$\vec p$が座標と、$\vec u$および$\vec w$の線形結合の両方で表示されます。同じ平面内で$\vec u$と$\vec w$をドラッグすると、係数は変わっても$\vec p$は変わりません。射影は部分空間だけで決まり、それを表すベクトルの選び方には依存しません。

$\vec u$と$\vec w$が直交すると、2つの方程式は独立になります。各係数は片方の軸だけで決まり、$\vec p$は$\vec b$の2本の軸への影の和になります。

斜交する軸では、この近道は通常うまくいきません。各々の影はもう一方の軸がないものとして求めるため、その和$s$は通常$\vec p$とは別の点になります。このとき、数値欄では$\vec b - s$が少なくとも片方の直角条件を満たしていないことがわかります。wをuに垂直にするは、$\vec w$を$\vec u$に垂直な成分で置き換えます。これはグラム–シュミットの正規直交化法の1段階です。平面は同じままですが、2本の軸が直交するので、どんな$\vec b$でも影の和が$\vec p$になります。

$(1, 1, 1)$を通る対角線は、身近な例です。$\vec b$をこの直線に射影すると、$\vec b$の各成分が全成分の平均に置き換わり、$|\vec e|^2$はその平均からの偏差の二乗和になります。最小二乗回帰も同じ種類の射影を使います。