표준편차

표준편차는 데이터의 값들이 평균 $\bar{x}$에서 전형적으로 얼마나 떨어져 있는지를 나타냅니다. 각 값의 편차 $x_i - \bar{x}$를 제곱하고 그 제곱들의 평균을 낸 뒤 제곱근을 취하면 $\sigma = \sqrt{\tfrac{1}{n}\sum (x_i - \bar{x})^2}$입니다. 여기서는 각 편차의 제곱을 수직선 아래에 매달린 정사각형으로 그립니다. 위쪽 빈 정사각형의 넓이는 이 넓이들의 평균이며, 한 변은 데이터와 같은 단위의 길이인 σ입니다. 값을 하나씩 움직이거나 전체 데이터를 평행이동하고 간격을 바꾸며 어떤 정사각형이 달라지는지 살펴볼 수 있습니다.

평균은 편차들이 균형을 이루는 점이므로 편차의 합은 항상 0입니다. 따라서 편차를 그대로 평균하면 퍼짐 정도를 알 수 없습니다. 제곱하면 양쪽의 모든 편차가 반영되고, 멀리 있는 값이 훨씬 크게 작용합니다. 평균에서 두 배 멀리 있는 값은 네 배의 넓이를 더합니다. 그래서 멀리 떨어진 값 하나가 표준편차를 크게 높일 수 있습니다. σ가 평균 거리, 즉 $|x_i - \bar{x}|$의 평균보다 작아질 수 없는 이유도 같습니다. 모든 값이 평균에서 같은 거리에 있을 때만 둘이 같습니다.

마지막 제곱근은 평균 넓이를 다시 길이로 바꿉니다. 평균 정사각형의 넓이 σ²는 분산이며, 단위도 원래 단위의 제곱입니다.

모든 값에 같은 수를 더하면 평균만 그만큼 이동하고 편차, 정사각형, σ는 모두 그대로입니다. 평균에서의 모든 거리에 $k$를 곱하면 각 넓이에는 $k^2$, σ에는 $|k|$가 곱해집니다. 일반적으로 $a + bx_i$ 값들의 표준편차는 $|b|\,\sigma$입니다. 평균을 0으로 옮기고 σ를 1로 맞추면 각 값을 표준 단위로 다시 나타낼 수 있습니다. 즉 $z = (x - \bar{x})/\sigma$입니다.

$n$으로 나누면 값들 자체의 표준편차를 얻으며, 이 값들이 모집단 전체일 때는 σ로 나타냅니다. 하지만 흔히 데이터는 무작위 표본이고, 알고 싶은 것은 원래 모집단의 퍼짐 정도입니다. 표본 자체의 평균은 모집단 평균보다 표본 전체에 더 가까우므로, 표본 평균에서 측정한 편차의 제곱은 평균적으로 너무 작습니다. $n - 1$로 나누면 분산의 이 편향이 사라집니다. $s^2$는 모집단 분산의 불편추정량이고, 그 제곱근 $s$가 표본 표준편차입니다. 이때 빈 정사각형의 넓이는 제곱의 합을 $n - 1$로 나눈 값으로, 제곱들의 평균보다 조금 큽니다. 차이는 표본이 작을 때만 큽니다. 값이 두 개이면 $s$는 σ의 $\sqrt{2}$배입니다.