İstatistiksel güç

Bir testin gücü, belirli bir alternatif doğruyken sıfır hipotezi $H_0$ için ret kararı verme olasılığıdır. Burada $H_0$, makinenin paketlere ortalama $\mu = 500$ g doldurduğunu söyler. Paket ağırlıkları bağımsızdır; $\sigma = 10$ g standart sapmayla normal dağılır. Bir çalışma $n$ paketi tartar; ortalamaları $\bar x$ kritik değerin ötesine geçtiğinde $\alpha$ anlamlılık düzeyinde $H_0$ için ret kararı verir. Gerçek ortalama $\mu$ olduğunda güç, gerçek eğrinin kritik değerin ötesindeki alanıdır. Geri kalan $\beta$, farkı kaçırma olasılığıdır: II. tip hata. $\mu = 500$ olduğunda kaçırılacak fark yoktur ve güç doğrudan $\alpha$ olur.

Güç neye bağlıdır? $H_1\!: \mu < 500$ testi ve $\delta = 500 - \mu$ eksik miktarı için güç $\Phi(\delta\sqrt{n}/\sigma - z_{1-\alpha})$ olur. Daha büyük fark veya daha çok paket gücü artırır; daha sıkı bir $\alpha$, kritik değeri 500'den uzaklaştırır ve gücü azaltır. $n$ yalnızca $\sqrt{n}$ yoluyla etkili olduğundan, belirli bir güç için gereken paket sayısı $1/\delta^2$ ile orantılı büyür. Yön de aynı derecede önemlidir: makine gerçekte fazla dolduruyorsa $\mu < 500$ testinin gücü 0'a yaklaşır ve daha çok paket onu daha da düşürür. Çift yönlü test $\alpha$ değerini iki kuyruğa paylaştırır ve her iki yöndeki farkı da yakalayabilir. Ancak tek yönlü testin baktığı tarafta ondan daha düşük güce sahiptir.

Anlamlı olmayan bir sonuç neden fark olmadığını göstermez? Çünkü düşük güçlü bir test gerçek farkı çoğu zaman kaçırır. 25 paket ve $\alpha = 0.05$ ile tek yönlü test, 2 g eksik dolduran makineyi yalnızca yaklaşık dörtte bir olasılıkla yakalar; çoğu çalışma anlamlı çıkmaz. Anlamlı olmayan sonucun ne ifade ettiği, bulmaya değer bir farka karşı güce bağlıdır. Bu, veriler görülmeden hesaplanır: önce önemli olan en küçük fark, sonra yeterli güç, çoğu zaman %80 sağlayan bir $n$ seçilir.

Güç düşükken anlamlı tahminler farkı ortalama olarak neden abartır? Gerçekten eksik dolduran ve eksik dolum için test edilen bir makine düşünün. Yalnızca ortalaması tesadüfen 500'ün çok altında kalan çalışmalar kritik sınırı geçer. Dolayısıyla anlamlı olanlar seçilmiş bir gruptur: ortalama tahminleri, gerçek eğrinin kritik sınır ötesindeki bölümünün ortalamasıdır ve gerçektekinden daha büyük bir eksiğe karşılık gelir. Sınırın kendisi bir alt sınır koyar: 25 paket ve $\alpha = 0.05$ ile sonuç ancak tahmini eksik yaklaşık 3.29 g'dan fazlaysa anlamlıdır; gerçek eksik ne olursa olsun. $n$ ve $\alpha$ sabitken gerçek eksik küçüldükçe güç azalır ve anlamlı tahminlerin onu ortalama kaç kat abarttığı artar. Bu, M tipi (büyüklük) hatadır. Çift yönlü testte bazı anlamlı sonuçlar ters yönü bile gösterir: S tipi (işaret) hata. Yalnızca anlamlı sonuçları bildiren bir araştırma birikimi bu yanlılığı taşır.