p값

가설검정은 기본 주장인 귀무가설 $H_0$ 아래에서 데이터가 이례적인지 묻습니다. 여기서 $H_0$은 기계가 평균적으로 한 봉지에 $\mu = 500$g을 채운다는 주장입니다. 각 봉지의 무게는 서로 독립이며 $\sigma = 10$g인 정규분포를 따릅니다. 한 번의 연구에서 $n$봉지를 재고 평균 $\bar x$를 구합니다. p값은 $H_0$이 참이라고 가정했을 때, 관측 평균만큼 또는 더 극단적인 평균이 나올 확률입니다. 극단적인 방향은 대립가설 $H_1$이 정합니다. 유의수준 $\alpha = 0.05$인 검정은 $p < 0.05$일 때 경보를 울립니다.

p는 정확히 무엇의 확률일까요? $H_0$ 아래에서 평균 $\bar X$는 평균 500, 표준오차 $10/\sqrt{n}$인 정규분포를 따르므로 관측 평균의 위치는 $z = (\bar x - 500)/(10/\sqrt{n})$입니다. $H_1\!: \mu < 500$이면 p값은 $z$의 왼쪽 면적 $\Phi(z)$, $\mu > 500$이면 오른쪽 면적, $\mu \neq 500$이면 양쪽 꼬리 면적 $2\Phi(-|z|)$입니다. 반복 연구는 같은 사실을 개수로 보여 줍니다. 실제 평균 충전량이 500g인 기계에서 평균이 이만큼 또는 더 극단적인 연구의 비율은 p 근처에 안정됩니다. 방향은 데이터를 보기 전에 정해야 합니다. 데이터를 본 뒤 두 단측 p값 중 작은 쪽을 고르면 $H_0$이 참일 때 경보가 울릴 확률이 10%로, 명목 비율의 두 배가 됩니다. 방향을 미리 고정하면 $H_0$ 아래에서 p는 0부터 1까지 균등하게 분포하므로 오경보 확률은 정확히 $\alpha$입니다.

왜 p는 $H_0$이 참일 확률이 아닐까요? p는 전적으로 $H_0$이 성립하는 세계에서 계산됩니다. 즉 $P(\text{이만큼 또는 더 극단적인 평균} \mid H_0)$이지 $P(H_0 \mid \text{데이터})$이 아닙니다. 조건을 뒤집으려면 p가 쓰지 않는 두 양이 필요합니다. 적게 채우는 기계가 원래 얼마나 흔한지, 그리고 그런 기계에서 검정이 경보를 울릴 확률인 검정력입니다. 25봉지에서 3g이 부족하면 검정력은 약 $\Phi(1.5 - 1.645)$입니다. 베이즈 정리의 오즈 형식에서, 경보는 부족 대 정상의 오즈를 검정력 ÷ $\alpha$배로 만듭니다. 여기서는 약 8.85배이므로 사전 오즈 1 : 4가 약 2.2 : 1이 됩니다. 같은 경보라도 적게 채우는 기계가 80%이면 경보 중 정상 기계에서 나온 비율이 약 2.7%이고, 5%이면 약 68%입니다. 이 비율은 경보가 울렸다는 사실만 사용합니다. $\bar x$의 구체적인 값에는 더 많은 정보가 있습니다.

왜 아주 작은 차이도 유의할 수 있을까요? 관측 부족량이 고정되어 있으면 $|z| = |\bar x - 500|\sqrt{n}/\sigma$는 $\sqrt{n}$에 따라 커지므로, 더 많은 봉지를 잴수록 왼쪽 꼬리 p값이 작아집니다. 봉지 수가 네 배가 되면 $|z|$는 두 배가 됩니다. 왼쪽 단측 검정에서 500g보다 0.5g 적은 평균은 1083봉지부터 $\alpha = 0.05$에서 유의합니다. 작은 p는 $\mu$가 정확히 500이라면 이런 데이터가 이례적이라는 뜻이지, 차이가 실질적으로 중요하다는 뜻은 아닙니다. 반대도 성립하지 않습니다. 실제로 부족해도 경보가 울리지 않는 경우가 흔하므로 $p > 0.05$가 기계가 정상임을 보여 주지는 않습니다. 차이의 크기는 신뢰구간과 함께 보고하세요. $\alpha = 0.05$인 양측 검정이 $\mu = 500$을 기각하는 것은 95% 구간 $\bar x \pm z^*\sigma/\sqrt{n}$($z^* \approx 1.96$)에 500이 들어 있지 않은 것과 동치입니다.