假设检验与p值

假设检验问的是：假如一个默认的说法——原假设$H_0$——成立，眼前的数据是否出人意料。这里$H_0$说一台机器平均每袋装$\mu = 500$克；各袋重量相互独立，服从$\sigma = 10$克的正态分布；一次研究称$n$袋，算出平均重量$\bar x$。p值是在假定$H_0$成立时，平均重量至少和观测值一样极端的概率，“极端”朝哪个方向由备择假设$H_1$规定。显著性水平$\alpha = 0.05$的检验在$p < 0.05$时报警。

p到底是什么的概率？$H_0$成立时，$\bar X$服从均值500、标准误$10/\sqrt{n}$的正态分布，观测的平均重量位于$z = (\bar x - 500)/(10/\sqrt{n})$。$H_1\!: \mu < 500$时，p值是$z$左边的面积$\Phi(z)$；$\mu > 500$时是右边的面积；$\mu \neq 500$时是两边的尾巴$2\Phi(-|z|)$。重做的研究用计数说明同一件事：在一台真的平均装500克的机器上，平均重量至少这么极端的研究所占的比例会稳定在p附近。方向必须在看数据之前定好。看完数据再从两个单侧p值里挑小的那个，$H_0$为真时报警的机会是10%，是名义水平的两倍。方向事先固定时，$H_0$下的p在0到1之间均匀分布，所以检验误报的机会恰好是$\alpha$。

为什么p不是$H_0$为真的概率？p完全是在$H_0$的世界里算的：它是$P(\text{平均重量至少这么极端} \mid H_0)$，不是$P(H_0 \mid \text{数据})$。要倒过来，需要两样p从来不用的东西：少装的机器本来有多常见，以及检验功效，也就是检验对一台少装的机器报警的概率。称25袋、少装3克时，功效约为$\Phi(1.5 - 1.645)$。按贝叶斯定理的几率形式，一次报警把“少装对好”的几率乘以功效 ÷ $\alpha$，这里约为8.85，先验几率1 : 4因此变成约2.2 : 1。同样是报警，少装的机器占80%时，报警里来自好机器的约占2.7%；占5%时约为68%。这些比例只用到“报了警”这一件事；$\bar x$的具体值还能说明更多。

差得很小为什么也能显著？观测到的少装量固定时，$|z| = |\bar x - 500|\sqrt{n}/\sigma$随$\sqrt{n}$增大，称的袋子越多，左侧检验的p越小：袋子变成四倍，$|z|$就翻倍。在左侧检验里，比500少半克，从1083袋起就在$\alpha = 0.05$下显著。p小只说明假如$\mu$恰好是500，这样的数据不常见；它并不说明差距要紧。反过来也不成立：真的少装也常常不报警，所以$p > 0.05$不能证明机器没问题。差距有多大，要用置信区间来报告：$\alpha = 0.05$的双侧检验拒绝$\mu = 500$，恰好是95%区间$\bar x \pm z^*\sigma/\sqrt{n}$（$z^* \approx 1.96$）不包含500的时候。