p-значение

Проверка гипотез спрашивает, были бы данные неожиданными при некотором исходном утверждении — нулевой гипотезе $H_0$. Здесь $H_0$ утверждает, что машина фасует в среднем по $\mu = 500$ г. Массы пакетов независимы и нормально распределены с $\sigma = 10$ г; в одном исследовании взвешивают $n$ пакетов и вычисляют их среднее $\bar x$. p-значение — вычисленная при истинной $H_0$ вероятность среднего не менее экстремального, чем наблюдаемое, в направлении, заданном альтернативной гипотезой $H_1$. Тест уровня $\alpha = 0.05$ подаёт сигнал тревоги при $p < 0.05$.

Вероятностью чего именно является p? При $H_0$ среднее $\bar X$ нормально распределено со средним 500 и стандартной ошибкой $10/\sqrt{n}$, поэтому наблюдаемое среднее находится в точке $z = (\bar x - 500)/(10/\sqrt{n})$. Для $H_1\!: \mu < 500$ p-значение — это площадь слева от $z$, то есть $\Phi(z)$; для $\mu > 500$ — площадь справа; для $\mu \neq 500$ — оба хвоста, $2\Phi(-|z|)$. Повторы показывают то же самое подсчётом: на машине, действительно фасующей в среднем по 500 г, доля исследований с не менее экстремальным средним стабилизируется около p. Направление нужно выбрать до просмотра данных. Если после просмотра взять меньшее из двух односторонних p-значений, при истинной $H_0$ тревога будет возникать с вероятностью 10%, вдвое чаще заявленного. При заранее фиксированном направлении p равномерно распределено от 0 до 1 при $H_0$, поэтому вероятность ложной тревоги в точности равна $\alpha$.

Почему p — не вероятность того, что $H_0$ верна? Оно полностью вычисляется внутри мира $H_0$: это $P(\text{не менее экстремальное среднее} \mid H_0)$, а не $P(H_0 \mid \text{данные})$. Чтобы обратить условие, нужны две величины, которые p не использует: исходная распространённость машин с недовесом и мощность — вероятность тревоги на машине с недовесом. При 25 пакетах и недовесе 3 г мощность примерно равна $\Phi(1.5 - 1.645)$. Запись через шансы (Теорема Байеса) показывает, что сигнал тревоги умножает шансы «недовес против исправности» на мощность ÷ $\alpha$, здесь примерно на 8,85, превращая априорные шансы 1 : 4 примерно в 2,2 : 1. После того же сигнала доля исправных машин среди всех тревог составляет около 2,7%, если 80% машин недосыпают, и около 68%, если таких машин 5%. Эти доли используют лишь факт тревоги; само значение $\bar x$ несёт больше информации.

Почему крошечная разница может быть значимой? При фиксированном наблюдаемом недовесе $|z| = |\bar x - 500|\sqrt{n}/\sigma$ растёт с $\sqrt{n}$, поэтому p-значение левого хвоста уменьшается при увеличении числа взвешенных пакетов: вчетверо больше пакетов удваивают $|z|$. В левостороннем тесте недовес в полграмма относительно 500 значим на уровне $\alpha = 0.05$ начиная с 1083 пакетов. Малое p говорит, что такие данные были бы необычны, если бы $\mu$ в точности равнялось 500; оно не говорит, что разница практически важна. Обратное тоже неверно: настоящий недовес часто не вызывает тревоги, поэтому $p > 0.05$ не доказывает исправность машины. Вместе с величиной разницы указывайте доверительный интервал: двусторонний тест уровня $\alpha = 0.05$ отвергает $\mu = 500$ тогда и только тогда, когда 95%-й интервал $\bar x \pm z^*\sigma/\sqrt{n}$ ($z^* \approx 1.96$) не содержит 500.