検出力

検出力とは、ある特定の対立仮説が真のときに、検定が帰無仮説$H_0$を棄却する確率です。ここで$H_0$は、機械が平均$\mu = 500$ gずつ袋に詰めるという仮説です。各袋の重量は独立で、$\sigma = 10$ gの正規分布に従います。1回の調査で$n$袋を量り、平均$\bar x$が臨界値を越えたら、有意水準$\alpha$で$H_0$を棄却します。真の平均が$\mu$のときの検出力は、真の曲線のうち臨界値を越えた部分の面積です。残りの$\beta$は差を見逃す確率、つまり第2種の過誤の確率です。$\mu = 500$では見逃す差がなく、検出力は$\alpha$そのものになります。

検出力は何で決まるのでしょうか。$H_1\!: \mu < 500$の検定で不足量が$\delta = 500 - \mu$なら、検出力は$\Phi(\delta\sqrt{n}/\sigma - z_{1-\alpha})$です。差が大きいほど、袋数が多いほど高くなります。$\alpha$を厳しくすると臨界値が500から遠ざかり、検出力は下がります。$n$は$\sqrt{n}$の形でしか効かないので、同じ検出力に必要な袋数は$1/\delta^2$に比例して増えます。方向も同じくらい重要です。実際には機械が多く詰めている場合、$\mu < 500$の検定の検出力は0に近づき、袋数を増やすほどさらに下がります。両側検定は$\alpha$を両方の裾に分けるので、どちら側の差も検出できますが、片側検定が見る側では、その片側検定より検出力が低くなります。

有意でない結果が「差がない」ことを示さないのはなぜでしょうか。検出力が低い検定は、実際の差を見逃すことが多いからです。25袋、$\alpha = 0.05$の片側検定で2 gの不足を検出する確率は約4分の1にすぎず、ほとんどの調査は有意になりません。有意でない結果をどう受け止めるかは、見つける価値のある差に対する検出力によります。それはデータを見る前に計算します。重要な最小の差を決め、十分な検出力、よく使われる目安なら80%を得られる$n$を選びます。

検出力が低いと、有意な推定値は平均して差を過大評価するのはなぜでしょうか。実際に充填量が不足している機械について、不足を調べる検定を考えます。平均がたまたま500よりかなり低くなった調査だけが臨界値を越えるため、有意な調査は選ばれた一群です。その平均推定値は真の曲線の臨界値を越えた部分の平均で、実際より大きな不足量に対応します。臨界値自体が下限を設けています。25袋、$\alpha = 0.05$では、実際の不足量によらず、約3.29 gを超える不足と推定しないと有意になりません。$n$と$\alpha$を固定すると、真の不足量が小さいほど検出力が低くなり、有意な推定値が平均して何倍に過大評価するかも大きくなります。これがM型（大きさ）の誤りです。両側検定では有意なのに方向まで逆の結果もあり、S型（符号）の誤りと呼ばれます。有意な結果だけを報告する研究の蓄積には、この偏りが含まれます。