표집분포

통계량은 표본에서 계산한 수로, 평균이나 중앙값 등이 있습니다. 같은 모집단에서 크기가 모두 $n$인 독립 표본을 반복해서 뽑고 매번 통계량을 계산하면, 그 값들이 표집분포를 이룹니다. 기댓값에서 참값을 뺀 것이 편향이고, 표준편차는 표준오차입니다. 세 층은 모집단, 한 표본의 $n$개 값, 표본마다 점 하나를 보탠 표집분포라는 세 분포를 구분합니다.

한 표본은 넓게 퍼져 있는데 평균은 왜 모일까요? 표본은 모집단의 대략적인 복사본이므로 $n$이 커져도 표준편차 $s$는 줄어들기보다 모집단의 $\sigma$ 근처에 안정됩니다. $n$개 독립 값의 평균은 다릅니다. 중심보다 높은 값과 낮은 값이 부분적으로 상쇄되며, 분산이 유한한 모든 모집단에서 $\operatorname{Var}(\bar x) = \sigma^2/n$이 성립합니다. 따라서 평균의 표준오차는 $\sigma/\sqrt{n}$입니다. 표본 크기를 네 배로 늘리면 절반이 됩니다. 표준오차는 표본 하나의 퍼짐이 아니라, 표본을 바꿀 때 평균이 얼마나 움직이는지를 나타냅니다. 평균이 종 모양도 이루는 이유는 중심극한정리로 설명됩니다.

표본분산은 왜 $n - 1$로 나눌까요? 모든 표본에서 $\sum (x - \mu)^2 = \sum (x - \bar x)^2 + n(\bar x - \mu)^2$이 성립합니다. 편차제곱합은 표본 자신의 평균에서 잴 때 최소가 됩니다. 참평균에서 잰 합보다 $n(\bar x - \mu)^2$만큼 작고, 이 차이의 평균은 $\bar x$의 분산에 $n$을 곱한 값, 즉 정확히 $\sigma^2$입니다. 따라서 $\sum (x - \bar x)^2$의 평균은 $(n - 1)\sigma^2$이며, $n - 1$로 나누면 $s^2$이 불편추정량이 됩니다. $n$으로 나누면 평균 $\sigma^2/n$만큼 부족합니다. 이 보정은 분산에만 해당합니다. 제곱근 함수는 위로 볼록하므로 $s$ 자체는 여전히 평균적으로 $\sigma$를 과소추정합니다(정규 데이터이고 $n = 5$일 때 약 6%). 최댓값이 모자란 이유는 더 단순합니다. 균등 모집단의 모든 값이 100보다 작으므로 표본최댓값도 평균적으로 100보다 작습니다.

중심을 추정할 때 평균이 항상 더 좋을까요? 모집단에 따라 다릅니다. 대칭 모집단에서는 평균과 중앙값 모두 참중심을 중심으로 하므로 표준오차가 작은 쪽이 더 좋습니다. 정규 데이터에서는 중앙값의 표준오차가 더 크며, $n$이 크면 평균의 표준오차의 약 $\sqrt{\pi/2} \approx 1.25$배입니다. 꼬리가 더 두꺼운 라플라스 데이터에서는 더 작고, 같은 큰 표본 근사에서 약 $1/\sqrt{2} \approx 0.71$배입니다. 극단값 하나는 평균을 움직이지만 중앙값은 거의 움직이지 않으며, 두꺼운 꼬리는 극단값을 자주 만듭니다. 비대칭 모집단에서는 두 통계량이 서로 다른 수를 추정할 수 있습니다. 여기의 지수 모집단은 평균이 50, 중앙값이 $40 + 10\ln 2 \approx 46.93$입니다.