Выборочное распределение

Статистика — число, вычисленное по выборке, например её среднее или медиана. Снова и снова получайте независимые выборки одного объёма $n$ из одной совокупности и каждый раз вычисляйте статистику. Эти значения образуют её выборочное распределение. Математическое ожидание минус истинное значение — смещение; стандартное отклонение — стандартная ошибка. Три слоя отделяют три распределения: совокупность, $n$ значений одной выборки и выборочное распределение — по одной точке на выборку.

Почему одна выборка остаётся широкой, а средние сближаются? Выборка — грубая копия совокупности, поэтому с ростом $n$ её стандартное отклонение $s$ приближается к $\sigma$ совокупности, а не уменьшается до нуля. Среднее $n$ независимых значений ведёт себя иначе: отклонения выше и ниже центра частично компенсируются. Для любой совокупности с конечной дисперсией $\operatorname{Var}(\bar x) = \sigma^2/n$, поэтому стандартная ошибка среднего равна $\sigma/\sqrt{n}$. Увеличение объёма выборки вчетверо уменьшает её вдвое. Стандартная ошибка — не разброс одной выборки: она показывает, как меняется среднее от выборки к выборке. Почему средние также образуют колокол, объясняет центральная предельная теорема.

Почему выборочную дисперсию делят на $n - 1$? Для каждой выборки верно $\sum (x - \mu)^2 = \sum (x - \bar x)^2 + n(\bar x - \mu)^2$. Сумма квадратов отклонений минимальна, если измерять их от собственного среднего выборки. Она меньше суммы, измеренной от истинного среднего, на $n(\bar x - \mu)^2$. Среднее этой разности — дисперсия $\bar x$, умноженная на $n$, то есть ровно $\sigma^2$. Поэтому $\sum (x - \bar x)^2$ в среднем равно $(n - 1)\sigma^2$; деление на $n - 1$ делает $s^2$ несмещённой оценкой, а деление на $n$ даёт средний недобор $\sigma^2/n$. Поправка относится только к дисперсии: функция квадратного корня вогнута, поэтому $s$ всё ещё в среднем занижает $\sigma$ (для нормальных данных при $n = 5$ примерно на 6%). Максимум недотягивает по более простой причине: в равномерной совокупности каждое значение меньше 100, поэтому выборочный максимум в среднем тоже меньше 100.

Всегда ли среднее лучше оценивает центр? Это зависит от совокупности. Для симметричной совокупности и среднее, и медиана центрированы на истинном центре, поэтому лучше та оценка, у которой меньше стандартная ошибка. Для нормальных данных у медианы она больше: при большом $n$ составляет примерно $\sqrt{\pi/2} \approx 1.25$ от стандартной ошибки среднего. Для данных Лапласа с более тяжёлыми хвостами она меньше: в том же приближении больших выборок — примерно $1/\sqrt{2} \approx 0.71$ от ошибки среднего. Одно экстремальное значение сдвигает среднее, но почти не меняет медиану, а тяжёлые хвосты часто дают экстремальные значения. Для асимметричной совокупности эти статистики могут оценивать разные числа: у показанной здесь экспоненциальной совокупности среднее 50, а медиана $40 + 10\ln 2 \approx 46.93$.