선형회귀

단순 선형회귀는 최소제곱 직선 $\hat y = a + bx$를 이용해 $x$로부터 $y$를 예측합니다. 잔차 제곱합이 가장 작은 직선입니다. 점의 잔차는 $e = y - \hat y$이며, 점이 직선보다 얼마나 위에 있는지 나타내며, 아래에 있으면 음수입니다. 점이 적을 때는 각 잔차에 정사각형이 붙으므로 제곱합이 눈에 보이는 넓이가 됩니다. 자신의 직선을 옮기고 돌려 최솟값을 찾고, 적합한 직선을 점 1000개로 만든 모의 점 구름과 비교할 수 있습니다.

직선은 왜 중심 $(\bar x, \bar y)$를 지날까요? 임의의 직선을 $y = h + b(x - \bar x)$로 쓰고, $h$는 $\bar x$에서의 높이라고 합시다. 잔차의 합은 $n(\bar y - h)$이고 제곱합은 두 부분으로 나뉩니다.

여기서 $S_{xx}$, $S_{yy}$, $S_{xy}$는 평균에서 벗어난 편차의 제곱합과 곱의 합입니다. 첫 부분은 높이에만, 둘째 부분은 기울기에만 달려 있습니다. 따라서 기울기가 어떻든 최적 높이는 $\bar y$입니다. 최적 직선은 중심을 지나고 잔차의 합은 0이 됩니다. 중심을 기준으로 돌리면 합은 포물선 $P(b)$를 따라 변합니다. $x$ 값이 모두 같지만 않으면 유일한 최저점은 $b = S_{xy}/S_{xx}$에 있습니다.

$R^2$은 무엇을 측정할까요? 수평선 $y = \bar y$는 포물선에서 기울기 0인 위치에 해당하며, 그 제곱합이 총변동 $\mathrm{SST} = S_{yy}$입니다. 적합한 직선은 $\mathrm{SSE}$를 남깁니다. $y$ 값에 변동이 있으면 $R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$는 $y$의 변동 중 이 직선이 설명하는 비율입니다. 두 좌표에 모두 변동이 있으면 $R^2 = r^2$이 성립하므로 상관계수 0.5가 설명하는 비율은 4분의 1에 불과합니다. 여기서 설명한다는 것은 적합한다는 뜻이지, 원인이라는 뜻이 아닙니다.

직선은 왜 점 구름보다 완만할까요? 표준화한 단위에서 예측식은 $\hat z_y = r\,z_x$입니다. 따라서 $|r| < 1$일 때, $\bar x$에서 떨어진 점의 예측값은 $\bar y$에서 표준편차 몇 배만큼 떨어졌는지로 보면 원래 점이 $\bar x$에서 떨어진 정도보다 작습니다. 모의 점 구름처럼 타원형인 경우 기울기 $\pm s_y/s_x$인 표준편차 직선은 눈에 보이는 점 구름의 방향을 따르고, 회귀직선은 더 완만합니다. 데이터를 뒤로 당기는 힘이 있는 것은 아닙니다. 이런 데이터에는 모두 이 효과가 성립합니다. 반대로 $y$로부터 $x$를 예측해도 같은 효과가 나타나며, 중심을 지나는 두 번째 직선은 그림에서 더 가파릅니다. 이런 점 구름에서 $x$의 좁은 띠마다 $y$의 평균을 구하면 이 효과를 볼 수 있습니다. 평균은 회귀직선 가까이에 있지만 정확히 그 위에 있지는 않습니다. 회귀라는 이름은 프랜시스 골턴의 1886년 키 연구에서 나왔습니다. 부모가 매우 크거나 매우 작아도 자녀의 키는 평균적으로 그만큼 극단적이지 않았습니다.

직선은 언제 오해를 부를까요? 점 하나를 1만큼 올리면 그 점 자신의 적합값은 레버리지 $h = 1/n + (x - \bar x)^2/S_{xx}$만큼 올라갑니다. 이 값은 $\bar x$에서 멀수록 커집니다. $x$ 방향으로 멀리 떨어진 외딴 점은 레버리지가 1에 가까울 수 있습니다. 직선이 그 점을 따라 움직이므로 다른 모든 점과 어긋나도 자신의 잔차는 작아 보일 수 있고, 큰 점 구름에서도 이런 점 하나가 직선을 돌릴 수 있습니다. 또한 $r$이 1에 가까워도 잔차는 양 끝에서 양수, 가운데에서 음수가 되어 어떤 직선도 따를 수 없는 곡선을 이룰 수 있습니다.