Valor-p

Um teste de hipóteses pergunta se os dados seriam surpreendentes sob uma afirmação de referência, a hipótese nula $H_0$. Aqui, $H_0$ afirma que uma máquina enche os sacos com $\mu = 500$ g em média. Os pesos são independentes e normais, com $\sigma = 10$ g; um estudo pesa $n$ sacos e calcula a sua média $\bar x$. O valor-p é a probabilidade, calculada como se $H_0$ fosse verdadeira, de uma média pelo menos tão extrema como a observada, na direção indicada pela hipótese alternativa $H_1$. Um teste ao nível $\alpha = 0.05$ gera um alarme quando $p < 0.05$.

De que é p exatamente a probabilidade? Sob $H_0$, a média $\bar X$ segue uma normal com média 500 e erro-padrão $10/\sqrt{n}$, pelo que a média observada se situa em $z = (\bar x - 500)/(10/\sqrt{n})$. Para $H_1\!: \mu < 500$, o valor-p é a área à esquerda de $z$, $\Phi(z)$; para $\mu > 500$, é a área à direita; para $\mu \neq 500$, são as duas caudas, $2\Phi(-|z|)$. As repetições mostram o mesmo por contagem: numa máquina que realmente enche 500 g em média, a proporção de estudos cuja média é pelo menos tão extrema estabiliza perto de p. A direção tem de ser escolhida antes de ver os dados. Escolher depois o menor dos dois valores-p unilaterais gera um alarme em 10% dos casos em que $H_0$ é verdadeira, o dobro da taxa anunciada. Com a direção fixada de antemão, p distribui-se uniformemente entre 0 e 1 sob $H_0$, pelo que a probabilidade de um falso alarme é exatamente $\alpha$.

Porque não é p a probabilidade de $H_0$ ser verdadeira? É calculado inteiramente no mundo de $H_0$: é $P(\text{uma média pelo menos tão extrema} \mid H_0)$, não $P(H_0 \mid \text{os dados})$. Inverter a condição exige duas quantidades que p nunca usa: a frequência inicial das máquinas que enchem a menos e a potência, a probabilidade de o teste gerar um alarme numa dessas máquinas. Com 25 sacos e um défice de 3 g, a potência é cerca de $\Phi(1.5 - 1.645)$. Na forma de odds do Teorema de Bayes, um alarme multiplica as odds de «enchimento insuficiente contra correto» por potência ÷ $\alpha$, aqui cerca de 8,85, passando de odds a priori de 1 : 4 para cerca de 2,2 : 1. Após o mesmo alarme, a proporção de máquinas corretas entre os alarmes é cerca de 2,7% quando 80% das máquinas enchem a menos e cerca de 68% quando são 5%. Estas proporções usam apenas o facto de ter havido um alarme; o próprio valor de $\bar x$ fornece mais informação.

Porque pode uma diferença minúscula ser significativa? Para um défice observado fixo, $|z| = |\bar x - 500|\sqrt{n}/\sigma$ cresce com $\sqrt{n}$, pelo que o valor-p da cauda esquerda diminui à medida que se pesam mais sacos: quatro vezes mais sacos duplicam $|z|$. No teste de cauda esquerda, meio grama abaixo de 500 é significativo ao nível $\alpha = 0.05$ a partir de 1083 sacos. Um p pequeno diz que os dados seriam invulgares se $\mu$ fosse exatamente 500; não diz que a diferença tem importância prática. O inverso também falha: um défice real muitas vezes não gera alarme, pelo que $p > 0.05$ não demonstra que a máquina esteja correta. Apresente a dimensão da diferença com um intervalo de confiança: o teste bilateral ao nível $\alpha = 0.05$ rejeita $\mu = 500$ exatamente quando o intervalo a 95% $\bar x \pm z^*\sigma/\sqrt{n}$ ($z^* \approx 1.96$) exclui 500.