統計檢定力

檢定力是在某個特定對立情形為真時，檢定拒絕虛無假設$H_0$的機率。這裡$H_0$表示機器平均每袋裝$\mu = 500$公克；各袋重量互相獨立，服從$\sigma = 10$公克的常態分布。一次研究秤$n$袋，平均重量$\bar x$越過臨界值時，就在顯著水準$\alpha$下拒絕$H_0$。真實平均數為$\mu$時的檢定力，就是真實曲線落在臨界值之外的面積；剩下的$\beta$是漏掉差距的機率，也就是第二型錯誤。$\mu = 500$時沒有差距可漏掉，檢定力就是$\alpha$本身。

檢定力由什麼決定？檢定$H_1\!: \mu < 500$、少裝$\delta = 500 - \mu$時，檢定力是$\Phi(\delta\sqrt{n}/\sigma - z_{1-\alpha})$。差距越大、袋數越多，檢定力越高；$\alpha$越嚴格，臨界值離500越遠，檢定力越低。$n$只透過$\sqrt{n}$起作用，所以要達到相同的檢定力，所需袋數按$1/\delta^2$增加。方向同樣重要：機器其實多裝時，檢定$\mu < 500$的檢定力趨近0，袋數越多反而越低。雙尾檢定把$\alpha$分給兩端尾部，兩邊的差距都能發現；但在單尾檢定所關注的那一邊，它的檢定力比單尾檢定低。

不顯著為什麼不代表沒有差別？因為檢定力低的檢定通常會漏掉真實差距：秤25袋、$\alpha = 0.05$時，單尾檢定發現少裝2公克的機會只有約四分之一，對這台機器做的研究多半不顯著。不顯著的結果有多少參考價值，取決於檢定對值得發現的差距有多大檢定力，而這要在看資料之前算好：先選出重要的最小差距，再選能提供足夠檢定力（常取80%）的$n$。

檢定力低時，顯著估計為什麼平均而言會誇大差距？假設機器確實少裝，檢定也針對少裝。只有平均重量碰巧遠低於500的研究才越過臨界值，因此顯著研究是經過篩選的一群：它們的平均估計是真實曲線在臨界值之外那一段的平均位置，對應的少裝量比真實值更大。臨界值本身就設定了下限：秤25袋、$\alpha = 0.05$時，估計少裝量必須超過約3.29公克才顯著，無論實際少裝多少。固定$n$與$\alpha$時，真實少裝量越小，檢定力越低，顯著估計平均誇大的倍數越大，這稱為M型（大小）錯誤；雙尾檢定中，部分顯著結果甚至指向錯誤方向，稱為S型（符號）錯誤。只報告顯著結果的研究文獻會帶有這種偏誤。