p値

仮説検定では、基準とする主張である帰無仮説$H_0$のもとで、データが珍しいものかどうかを問います。ここで$H_0$は、機械が平均で1袋$\mu = 500$gを充填するという主張です。各袋の重量は独立で、$\sigma = 10$gの正規分布に従います。1回の研究で$n$袋を量り、その平均$\bar x$を求めます。p値は$H_0$が正しいと仮定して計算する、観測した平均と同程度以上に極端な平均が得られる確率です。極端さの方向は対立仮説$H_1$で指定します。有意水準$\alpha = 0.05$の検定は$p < 0.05$で警報を出します。

pは具体的に何の確率なのでしょうか。$H_0$のもとで平均$\bar X$は平均500、標準誤差$10/\sqrt{n}$の正規分布に従うので、観測平均の位置は$z = (\bar x - 500)/(10/\sqrt{n})$です。$H_1\!: \mu < 500$ならp値は$z$の左側の面積$\Phi(z)$、$\mu > 500$なら右側の面積、$\mu \neq 500$なら両裾の面積$2\Phi(-|z|)$です。繰り返し実験では、同じことを数で確かめます。平均充填量が本当に500gの機械では、平均がこの値と同程度以上に極端になる研究の割合はpの近くに落ち着きます。方向はデータを見る前に決める必要があります。見た後で2つの片側p値の小さいほうを選ぶと、$H_0$が正しい場合に警報が出る確率は10%となり、公称の率の2倍になります。方向を事前に固定すれば、$H_0$のもとでpは0から1の一様分布に従うため、誤警報の確率はちょうど$\alpha$です。

なぜpは$H_0$が正しい確率ではないのでしょうか。pはすべて$H_0$が正しい世界の中で計算されます。つまり$P(\text{同程度以上に極端な平均} \mid H_0)$であって、$P(H_0 \mid \text{データ})$ではありません。条件を逆にするには、pが使っていない2つの量が必要です。充填不足の機械がもともとどれくらいあるかと、充填不足の機械で警報が出る確率である検出力です。25袋で不足が3gなら、検出力は約$\Phi(1.5 - 1.645)$です。ベイズの定理のオッズ形式では、警報は「充填不足対正常」のオッズを検出力÷$\alpha$倍にします。ここでは約8.85倍で、事前オッズ1:4が約2.2:1になります。同じ警報でも、充填不足の機械が80%なら警報のうち正常な機械から来る割合は約2.7%、5%なら約68%です。これらの割合は警報が出たという事実だけを使っています。$\bar x$の具体的な値を使えば、さらに情報が得られます。

なぜわずかな差でも有意になり得るのでしょうか。観測された不足量を固定すると、$|z| = |\bar x - 500|\sqrt{n}/\sigma$は$\sqrt{n}$とともに大きくなります。袋数が増えるほど下側片側p値は小さくなり、袋数が4倍になると$|z|$は2倍になります。下側片側検定では、500gより0.5g少ない平均は1083袋から$\alpha = 0.05$で有意になります。小さいpは、$\mu$がちょうど500ならそのデータは珍しいという意味であり、差が実質的に重要だという意味ではありません。逆も成り立ちません。実際に不足があっても警報が出ないことは多いので、$p > 0.05$から機械が正常だとは言えません。差の大きさは信頼区間とともに報告しましょう。$\alpha = 0.05$の両側検定が$\mu = 500$を棄却するのは、95%区間$\bar x \pm z^*\sigma/\sqrt{n}$（$z^* \approx 1.96$）が500を含まないとき、かつそのときに限ります。