Daya uji statistik

Daya suatu uji adalah peluangnya menolak hipotesis nol $H_0$ ketika suatu alternatif tertentu benar. Di sini $H_0$ menyatakan bahwa mesin mengisi kantong dengan rata-rata $\mu = 500$ g. Berat antarkantong independen dan berdistribusi normal dengan $\sigma = 10$ g. Sebuah studi menimbang $n$ kantong dan menolak $H_0$ pada taraf $\alpha$ ketika rata-ratanya $\bar x$ melewati nilai kritis. Daya uji pada rata-rata sebenarnya $\mu$ adalah luas kurva sebenarnya di luar batas itu. Sisanya, $\beta$, adalah peluang melewatkan selisih, yaitu kesalahan tipe II. Pada $\mu = 500$ tidak ada selisih yang bisa terlewat, dan daya uji sama dengan $\alpha$ itu sendiri.

Apa yang menentukan daya uji? Untuk pengujian $H_1\!: \mu < 500$ dengan kekurangan $\delta = 500 - \mu$, daya ujinya adalah $\Phi(\delta\sqrt{n}/\sigma - z_{1-\alpha})$. Selisih lebih besar atau lebih banyak kantong meningkatkan daya uji; $\alpha$ yang lebih ketat menjauhkan nilai kritis dari 500 dan menurunkannya. Karena $n$ hanya masuk melalui $\sqrt{n}$, jumlah kantong yang dibutuhkan untuk daya uji tertentu bertambah menurut $1/\delta^2$. Arah juga penting: jika mesin sebenarnya mengisi berlebih, daya uji untuk $\mu < 500$ menuju 0, dan tambahan kantong justru menurunkannya lagi. Uji dua sisi membagi $\alpha$ di antara kedua ekor sehingga dapat mendeteksi selisih di sisi mana pun, tetapi pada sisi yang diamati uji satu sisi, dayanya lebih rendah daripada uji satu sisi tersebut.

Mengapa hasil yang tidak signifikan tidak menunjukkan bahwa tidak ada perbedaan? Karena uji berdaya rendah biasanya melewatkan selisih yang nyata. Dengan 25 kantong dan $\alpha = 0.05$, uji satu sisi mendeteksi kekurangan 2 g hanya dalam sekitar seperempat kasus, sehingga kebanyakan studi pada mesin itu tidak signifikan. Makna hasil yang tidak signifikan bergantung pada daya uji terhadap selisih yang layak dideteksi. Ini dihitung sebelum melihat data: tentukan selisih terkecil yang penting, lalu pilih $n$ yang memberi daya uji memadai, sering kali 80%.

Mengapa estimasi signifikan rata-rata melebih-lebihkan selisih saat daya uji rendah? Ambil mesin yang benar-benar mengisi kurang dan diuji untuk kekurangan. Hanya studi yang rata-ratanya kebetulan jauh di bawah 500 yang melewati nilai kritis. Jadi, studi signifikan merupakan kelompok terseleksi: estimasi rata-ratanya adalah rata-rata bagian kurva sebenarnya di luar batas, yang menyiratkan kekurangan lebih besar daripada yang sebenarnya. Batas itu sendiri menetapkan minimum: dengan 25 kantong dan $\alpha = 0.05$, hasil signifikan harus mengestimasi kekurangan lebih dari sekitar 3.29 g, berapa pun kekurangan sebenarnya. Dengan $n$ dan $\alpha$ tetap, makin kecil kekurangan sebenarnya, makin rendah daya uji dan makin besar faktor penggandaan yang ditunjukkan estimasi signifikan secara rata-rata. Ini disebut kesalahan tipe M (magnitudo). Dalam uji dua sisi, sebagian hasil signifikan bahkan menunjukkan arah yang salah, yaitu kesalahan tipe S (tanda). Kumpulan penelitian yang hanya melaporkan hasil signifikan membawa bias ini.