정사영

정사영은 주어진 벡터와 가장 가까운 점을 부분공간에서 찾습니다. 여기서 부분공간 $S$는 원점 O를 지나는 평면 또는 직선이고, 주어진 벡터는 $\vec b$입니다. 사영 $\vec p$는 $S$ 안에 있으며 오차 $\vec e = \vec b - \vec p$는 $S$에 수직입니다. $\vec b$를 움직이고 $S$을 바꿀 수 있으며, $\vec p$와 $S$ 안의 다른 점을 비교할 수 있습니다. 또한 $\vec b$의 두 축 위 그림자를 더한 값이 언제 $\vec p$가 되는지도 살펴볼 수 있습니다.

왜 직각을 이루는 점이 가장 가까울까요? $S$ 안의 다른 점 $q$를 잡습니다. $q$에서 $\vec p$으로 가는 선분은 $S$ 안에 있으므로 $\vec e$에 수직입니다. $\vec b$, $\vec p$, $q$은 $\vec p$에서 직각을 이루는 삼각형을 만들고, 피타고라스 정리에 따라 다음 식이 성립합니다.

따라서 $q$가 $\vec p$ 자체가 아니라면, $\vec b$에서 $q$까지의 거리가 $\vec p$까지의 거리보다 큽니다. 역도 성립합니다. $\vec e$가 $S$ 안의 어떤 방향으로 기울어져 있다면, $\vec p$를 그 방향으로 조금 옮겨 $\vec b$에 더 가까워지게 할 수 있기 때문입니다. 그러므로 평면에서 가장 가까운 점은 $\vec e$가 $\vec u$와 $\vec w$ 모두에 수직인 점입니다. 직선에서는 $\vec u$에 수직이면 충분합니다.

$\vec p$를 구하는 것은 이 직각 조건들을 푸는 일입니다. 직선 위에서 $\vec p$는 $\vec u$의 배수이며, 조건 $\vec e\cdot\vec u = 0$이 그 배율을 결정합니다.

평면에서는 $\vec p = c_1\vec u + c_2\vec w$로 나타냅니다. 두 조건 $\vec e\cdot\vec u = 0$과 $\vec e\cdot\vec w = 0$는 $c_1$과 $c_2$에 대한 두 일차방정식이 되며, 이를 정규방정식이라 합니다.

표시창은 $\vec p$를 좌표와 $\vec u$, $\vec w$의 선형결합으로 함께 보여 줍니다. 같은 평면 안에서 $\vec u$와 $\vec w$를 드래그하면 계수는 바뀌지만 $\vec p$는 그대로입니다. 사영은 부분공간에만 달려 있으며, 이를 표현하는 벡터에는 달려 있지 않습니다.

$\vec u$와 $\vec w$가 수직이면 두 방정식이 분리됩니다. 각 계수는 한 축에만 달려 있고, $\vec p$는 $\vec b$의 두 축 위 그림자를 더한 값입니다.

비스듬한 축에서는 이 지름길이 대개 통하지 않습니다. 각 그림자는 다른 축이 없는 것처럼 구하기 때문에 그 합 $s$은 보통 $\vec p$과 일치하지 않습니다. 이때 표시창은 $\vec b - s$에서 두 직각 조건 중 적어도 하나가 성립하지 않음을 보여 줍니다. w를 u에 수직으로 버튼은 $\vec w$를 $\vec u$에 수직인 성분으로 바꾸며, 이는 그람–슈미트 과정의 한 단계입니다. 평면은 그대로지만 이제 두 축이 수직이므로 어떤 $\vec b$에 대해서도 그림자의 합이 $\vec p$가 됩니다.

$(1, 1, 1)$을 지나는 대각선은 익숙한 예입니다. $\vec b$를 이 직선에 사영하면 $\vec b$의 모든 성분이 성분들의 평균으로 바뀌며, $|\vec e|^2$은 그 평균에 대한 편차제곱합입니다. 최소제곱 회귀도 같은 종류의 사영을 사용합니다.