检验功效

检验功效是在某个备择情形为真时，检验拒绝原假设$H_0$的概率。这里$H_0$说一台机器平均每袋装$\mu = 500$克；各袋重量相互独立，服从$\sigma = 10$克的正态分布；一次研究称$n$袋，平均重量$\bar x$越过临界值时，就在显著性水平$\alpha$下拒绝$H_0$。真实均值为$\mu$时的功效，就是真实曲线越过临界值的那块面积；剩下的$\beta$是漏掉这个差距的概率，即第二类错误。$\mu = 500$时没有差距可漏，功效就等于$\alpha$本身。

功效由什么决定？检验$H_1\!: \mu < 500$、少装$\delta = 500 - \mu$时，功效是$\Phi(\delta\sqrt{n}/\sigma - z_{1-\alpha})$。差距越大、袋数越多，功效越高；$\alpha$越严，临界值离500越远，功效越低。$n$只通过$\sqrt{n}$起作用，所以要达到同样的功效，所需袋数按$1/\delta^2$增长。方向同样要紧：机器其实多装时，检验$\mu < 500$的功效趋于0，袋数越多反而越低。双侧检验把$\alpha$分给两条尾巴，哪一边的差距都能发现；但在单侧检验盯着的那一边，它的功效比单侧检验低。

不显著为什么不说明没有差别？因为功效低的检验通常会漏掉真实的差距：称25袋、$\alpha = 0.05$时，单侧检验发现少装2克的机会只有大约四分之一，对它做的研究多数都不显著。一个不显著的结果有多少分量，取决于检验对一个值得发现的差距有多大功效，而这要在看数据之前算好：先定下要紧的最小差距，再选能给出足够功效（常取80%）的$n$。

功效低时，显著的估计为什么平均起来夸大了差距？设机器确实少装，检验也针对少装。只有平均重量碰巧远低于500的研究才越过临界值，显著的研究是挑出来的一批：它们的平均估计是真实曲线越过临界值那一截的平均位置，估计的少装量比真实的更大。临界值本身就给估计定了门槛：称25袋、$\alpha = 0.05$时，估计的少装量必须超过约3.29克才算显著，不管真实少装多少。袋数和$\alpha$固定时，真实少装越少，功效越低，显著估计平均夸大的倍数越大，这叫M型（大小）误差；双侧检验里还有一些显著结果连方向都错了，这叫S型（方向）误差。只报告显著结果的研究文献，会系统地带着这种偏差。