Статистическая мощность

Мощность критерия — вероятность того, что он отвергнет нулевую гипотезу $H_0$, когда верна определённая альтернатива. Здесь $H_0$ утверждает, что машина фасует в среднем по $\mu = 500$ г. Веса пакетов независимы и нормально распределены с $\sigma = 10$ г. В исследовании взвешивают $n$ пакетов и отвергают $H_0$ на уровне $\alpha$, если среднее $\bar x$ оказывается за критической границей. Мощность при истинном среднем $\mu$ — площадь под истинной кривой за этой границей. Остаток, $\beta$, — вероятность пропустить отклонение, то есть совершить ошибку второго рода. При $\mu = 500$ отклонения нет, и мощность равна самому $\alpha$.

От чего зависит мощность? Для проверки $H_1\!: \mu < 500$ при недовесе $\delta = 500 - \mu$ она равна $\Phi(\delta\sqrt{n}/\sigma - z_{1-\alpha})$. Большее отклонение или больше пакетов повышают её; более строгое $\alpha$ отодвигает критическую границу от 500 и снижает мощность. Поскольку $n$ входит только через $\sqrt{n}$, число пакетов для заданной мощности растёт как $1/\delta^2$. Направление не менее важно: если машина насыпает лишнее, мощность проверки $\mu < 500$ стремится к 0, а увеличение числа пакетов снижает её ещё сильнее. Двусторонний критерий делит $\alpha$ между двумя хвостами и выявляет отклонения в обе стороны. Но на той стороне, которую проверяет односторонний критерий, его мощность ниже, чем у одностороннего.

Почему незначимый результат не означает отсутствия различий? Критерий с низкой мощностью обычно пропускает реальное отклонение. При 25 пакетах и $\alpha = 0.05$ односторонний критерий обнаруживает недовес 2 г лишь примерно в четверти случаев, поэтому большинство исследований этой машины дают незначимый результат. Информативность такого результата зависит от мощности для отклонения, которое важно обнаружить. Её рассчитывают до просмотра данных: выбирают наименьшее существенное отклонение, а затем $n$, обеспечивающее достаточную мощность, часто 80%.

Почему при низкой мощности значимые оценки в среднем преувеличивают отклонение? Возьмём машину, которая действительно недосыпает, и проверим её на недовес. За критическую границу попадают только исследования, где среднее случайно оказалось намного ниже 500. Поэтому значимые исследования — отобранная группа: их средняя оценка равна среднему той части истинной кривой, что лежит за границей, и соответствует большему недовесу, чем реальный. Сама граница задаёт минимум: при 25 пакетах и $\alpha = 0.05$ для значимости оценка недовеса должна превышать примерно 3.29 г, каким бы ни был истинный недовес. При фиксированных $n$ и $\alpha$ чем меньше истинный недовес, тем ниже мощность и тем больше отношение средней значимой оценки к истинному недовесу. Это ошибка типа M (величины). При двусторонней проверке некоторые значимые результаты даже указывают неверное направление — ошибка типа S (знака). Совокупность работ, сообщающих только значимые результаты, несёт это смещение.