검정력

검정력은 특정한 대립 상황이 참일 때 검정이 귀무가설 $H_0$을 기각할 확률입니다. 여기서 $H_0$은 기계가 봉지마다 평균 $\mu = 500$ g을 담는다는 가설입니다. 봉지 무게는 서로 독립이며 $\sigma = 10$ g인 정규분포를 따릅니다. 한 연구는 $n$봉지의 무게를 재고, 평균 $\bar x$이 임계값을 넘어서면 유의수준 $\alpha$에서 $H_0$을 기각합니다. 실제 평균이 $\mu$일 때 검정력은 실제 분포 곡선에서 임계값 너머의 면적입니다. 나머지 $\beta$는 차이를 놓칠 확률, 즉 제2종 오류의 확률입니다. $\mu = 500$에서는 놓칠 차이가 없고 검정력은 $\alpha$ 자체가 됩니다.

검정력은 무엇에 따라 달라질까요? $H_1\!: \mu < 500$을 검정하고 미달량이 $\delta = 500 - \mu$이면 검정력은 $\Phi(\delta\sqrt{n}/\sigma - z_{1-\alpha})$입니다. 차이가 크거나 봉지 수가 많으면 검정력이 높아집니다. $\alpha$를 더 엄격하게 하면 임계값이 500에서 멀어져 검정력이 낮아집니다. $n$은 $\sqrt{n}$을 통해서만 작용하므로, 일정한 검정력에 필요한 봉지 수는 $1/\delta^2$에 비례해 늘어납니다. 방향도 중요합니다. 기계가 실제로 더 많이 담으면 $\mu < 500$ 검정의 검정력은 0으로 향하고, 봉지 수를 늘릴수록 더 낮아집니다. 양측검정은 $\alpha$를 양쪽 꼬리에 나누어 어느 쪽 차이든 발견할 수 있지만, 단측검정이 보는 쪽에서는 그 단측검정보다 검정력이 낮습니다.

왜 유의하지 않은 결과가 차이가 없다는 뜻은 아닐까요? 검정력이 낮으면 실제 차이를 대개 놓치기 때문입니다. 25봉지, $\alpha = 0.05$일 때 단측검정으로 2 g 미달을 발견할 확률은 약 4분의 1뿐이므로 대부분의 연구는 유의하지 않습니다. 유의하지 않은 결과의 의미는 발견할 가치가 있는 차이에 대한 검정력에 달려 있습니다. 이는 데이터를 보기 전에 계산해야 합니다. 중요한 최소 차이를 정한 다음 충분한 검정력, 흔히 80%를 주는 $n$을 선택합니다.

검정력이 낮을 때 유의한 추정값은 왜 평균적으로 차이를 과장할까요? 실제로 적게 담는 기계를 대상으로 미달 여부를 검정한다고 합시다. 평균이 우연히 500보다 훨씬 낮게 나온 연구만 임계값 너머로 가므로, 유의한 연구는 선택된 집단입니다. 이들의 평균 추정값은 실제 분포 곡선 중 임계값 너머 부분의 평균이며, 실제보다 큰 미달량에 해당합니다. 임계값 자체가 하한을 정합니다. 25봉지, $\alpha = 0.05$에서는 실제 미달량이 얼마든 추정 미달량이 약 3.29 g을 넘어야 유의합니다. $n$과 $\alpha$를 고정하면 실제 미달량이 작을수록 검정력은 낮아지고, 유의한 추정값이 평균적으로 과장하는 배수는 커집니다. 이를 M형(크기) 오류라고 합니다. 양측검정에서는 일부 유의한 결과가 방향까지 반대로 가리키는데, 이것이 S형(부호) 오류입니다. 유의한 결과만 보고하는 연구 문헌에는 이런 편향이 담깁니다.