p值

假設檢定問的是：假如預設的說法，也就是虛無假設$H_0$成立，眼前的資料是否令人意外。這裡$H_0$表示機器平均每袋裝$\mu = 500$克；各袋重量彼此獨立，服從$\sigma = 10$克的常態分布。每次研究稱$n$袋，算出平均重量$\bar x$。p值是在假定$H_0$成立時，得到至少與觀測平均數同樣極端之平均數的機率；「極端」的方向由對立假設$H_1$指定。顯著水準$\alpha = 0.05$的檢定會在$p < 0.05$時發出警報。

p究竟是哪件事的機率？$H_0$成立時，平均數$\bar X$服從平均數500、標準誤$10/\sqrt{n}$的常態分布，因此觀測平均數的位置是$z = (\bar x - 500)/(10/\sqrt{n})$。對$H_1\!: \mu < 500$，p值是$z$左側的面積$\Phi(z)$；對$\mu > 500$，是右側的面積；對$\mu \neq 500$，則是兩端尾部的面積$2\Phi(-|z|)$。重做研究用計數呈現同一件事：機器確實平均每袋裝500克時，平均重量至少這麼極端的研究比例會穩定在p附近。方向必須在看資料前決定。看完後才挑兩個單側p值中較小的那個，$H_0$為真時會有10%的機率發出警報，是宣稱比率的兩倍。方向事先固定時，$H_0$成立下的p在0到1之間均勻分布，因此檢定誤報的機率恰好是$\alpha$。

為何p不是$H_0$為真的機率？它完全是在$H_0$成立的世界中計算的：它是$P(\text{平均重量至少同樣極端} \mid H_0)$，不是$P(H_0 \mid \text{資料})$。反過來推論需要兩項p從未使用的資訊：少裝機器原本有多常見，以及檢定力，也就是檢定對少裝機器發出警報的機率。稱25袋、少裝3克時，檢定力約為$\Phi(1.5 - 1.645)$。依貝氏定理的勝算形式，一次警報會把「少裝對正常」的勝算乘以檢定力÷$\alpha$，這裡約為8.85，使先驗勝算1:4變成約2.2:1。同樣收到警報，少裝機器占80%時，警報中來自正常機器的比例約為2.7%；少裝機器占5%時，則約為68%。這些比例只用了「發出警報」這項資訊；$\bar x$的具體數值還能提供更多資訊。

為何很小的差異也可能顯著？觀測到的少裝量固定時，$|z| = |\bar x - 500|\sqrt{n}/\sigma$隨$\sqrt{n}$增大，因此稱的袋子越多，左尾p值越小；袋數變為四倍，$|z|$就變為兩倍。在左尾檢定中，比500克少半克，從1083袋起就在$\alpha = 0.05$下顯著。p小只表示假如$\mu$恰好是500，這樣的資料並不常見；不表示差異在實務上重要。反過來也不成立：真的少裝也常常不發出警報，因此$p > 0.05$不能證明機器正常。應搭配信賴區間報告差異的大小：$\alpha = 0.05$的雙側檢定拒絕$\mu = 500$，恰好等同於95%區間$\bar x \pm z^*\sigma/\sqrt{n}$（$z^* \approx 1.96$）不包含500。