최소제곱법

세 점이 한 직선 위에 놓이는 일은 드물므로, 어떤 직선이든 일부 점을 지나지 못합니다. 왼쪽에는 점들과 최적 직선, 그리고 잔차가 있습니다. 잔차는 세로 방향의 차이이며, 그 제곱을 더하면 SSE가 됩니다. 오른쪽에서는 같은 세 높이가 공간 속 하나의 벡터가 되고, 최적 직선을 구하는 일은 이 벡터를 평면에 정사영하는 일이 됩니다. 점을 움직이고 내 직선을 시험해 보며, 더 단순한 두 모형을 비교할 수 있습니다.

데이터가 왜 하나의 점이 될까요? 세 높이를 하나의 벡터 $\vec b = (y_1, y_2, y_3)$로 씁니다. 이것이 오른쪽의 파란 화살표입니다. 각 축이 높이 하나를 나타내므로 축 이름은 $y_1, y_2, y_3$입니다. 직선은 세 $x_i$에서 값 $c + m x_i$를 가지며, 이는 $\mathbf 1 = (1, 1, 1)$일 때 벡터 $c\,\mathbf 1 + m\,\vec x$입니다. 일반 모형 $y = c + mx$에서 $x_i$의 값이 모두 같지만 않으면, $c$와 $m$의 값이 변함에 따라 이 벡터들은 $\mathbf 1$과 $\vec x$를 지나는 투명한 평면을 채웁니다. 따라서 왼쪽에 그릴 수 있는 모든 직선은 그 평면 위의 한 점에 해당합니다.

아무 직선이나 골라 보세요. 그 잔차는 $\vec b$의 좌표에서 평면 위 대응점의 좌표를 뺀 값이므로, SSE는 두 점 사이 거리의 제곱입니다. 따라서 최적 직선은 평면에서 $\vec b$에 가장 가까운 점 $\vec p$, 즉 정사영에 해당합니다. 잔차 벡터 $\vec r = \vec b - \vec p$는 평면에 수직이므로 $\mathbf 1$과 $\vec x$에도 모두 수직입니다. 이 두 직각을 식으로 쓰면 정규방정식이 됩니다.

직각과 평형을 켜면 잔차가 용수철 상수가 같은 세로 방향 용수철로 바뀝니다. 알짜힘은 $\sum r_i$에 비례하고, 원점에 대한 돌림힘은 $\sum x_i r_i$에 비례합니다. 일반 직선의 최적 적합에서는 둘 다 0이 됩니다. 상수 모형에서는 알짜힘만 0이면 되고, 원점을 지나는 직선에서는 돌림힘만 0이면 됩니다.

빨간색으로 그려진 내 직선은 항상 현재 모형에 속하므로, 그 점 $\vec q$는 $\vec p$와 같은 평면이나 직선 위에 있습니다. $\vec p$에서 $\vec q$로 가는 변위도 그 공간에 속하고, $\vec r$은 그 공간에 수직입니다. 따라서 피타고라스 정리가 오차를 정확히 분해합니다. 내 SSE가 최솟값에 도달할 필요충분조건은 $\vec q = \vec p$입니다.

두 작은 모형은 각각 열 하나만 남깁니다. $y = c$를 적합하면 $\vec b$를 $\mathbf 1$을 지나는 직선에 정사영하게 되고, $c$는 높이들의 평균이 됩니다. $y = mx$을 적합하면 $\vec x$을 지나는 직선에 정사영합니다. 단, 모든 $x_i$가 0이면 원점에만 정사영합니다. $x_i$의 값이 모두 같지 않을 때 이들은 평면 안의 서로 다른 두 직선입니다. 어느 모형도 다른 모형을 포함하지 않으며, 일반 직선은 둘 모두와 적어도 똑같이 잘 맞습니다. 선형회귀의 핵심에도 같은 정사영이 있습니다.