Valor p

Un contraste de hipótesis pregunta si los datos serían sorprendentes bajo una afirmación de referencia, la hipótesis nula $H_0$. Aquí $H_0$ afirma que una máquina llena las bolsas con $\mu = 500$ g de media. Los pesos son independientes y normales con $\sigma = 10$ g, y cada estudio pesa $n$ bolsas y calcula su media $\bar x$. El valor p es la probabilidad, calculada como si $H_0$ fuera cierta, de una media al menos tan extrema como la observada, en la dirección que indica la hipótesis alternativa $H_1$. Un contraste al nivel $\alpha = 0.05$ produce una alarma cuando $p < 0.05$.

¿De qué es exactamente p la probabilidad? Bajo $H_0$, la media $\bar X$ sigue una normal de media 500 y error estándar $10/\sqrt{n}$, de modo que la media observada se sitúa en $z = (\bar x - 500)/(10/\sqrt{n})$. Para $H_1\!: \mu < 500$, el valor p es el área a la izquierda de $z$, $\Phi(z)$; para $\mu > 500$, es el área a la derecha; para $\mu \neq 500$, son ambas colas, $2\Phi(-|z|)$. Las repeticiones muestran lo mismo contando: en una máquina que realmente llena 500 g de media, la proporción de estudios cuya media es al menos tan extrema se estabiliza cerca de p. La dirección debe elegirse antes de ver los datos. Elegir después el menor de los dos valores p unilaterales produce una alarma el 10% de las veces cuando $H_0$ es cierta, el doble de la tasa declarada. Con la dirección fijada de antemano, p se distribuye uniformemente entre 0 y 1 bajo $H_0$, por lo que la probabilidad de una falsa alarma es exactamente $\alpha$.

¿Por qué p no es la probabilidad de que $H_0$ sea cierta? Se calcula enteramente dentro del mundo de $H_0$: es $P(\text{una media al menos tan extrema} \mid H_0)$, no $P(H_0 \mid \text{los datos})$. Invertir la condición requiere dos cantidades que p nunca usa: lo frecuentes que son de partida las máquinas que llenan de menos, y la potencia, la probabilidad de que el contraste produzca una alarma en una de esas máquinas. Con 25 bolsas y un déficit de 3 g, la potencia es aproximadamente $\Phi(1.5 - 1.645)$. En la forma de odds del Teorema de Bayes, una alarma multiplica las odds de «déficit frente a funcionamiento correcto» por potencia ÷ $\alpha$, aquí aproximadamente 8,85, y convierte unas odds previas de 1 : 4 en unos 2,2 : 1. Tras la misma alarma, la proporción de máquinas correctas entre las alarmas es de alrededor del 2,7% cuando el 80% llena de menos, y de alrededor del 68% cuando lo hace el 5%. Estas proporciones solo usan el hecho de que haya saltado una alarma; el valor concreto de $\bar x$ aporta más información.

¿Por qué puede ser significativa una diferencia diminuta? Para un déficit observado fijo, $|z| = |\bar x - 500|\sqrt{n}/\sigma$ aumenta con $\sqrt{n}$, así que el valor p de cola izquierda disminuye al pesar más bolsas: cuatro veces más bolsas duplican $|z|$. En el contraste de cola izquierda, medio gramo por debajo de 500 es significativo al nivel $\alpha = 0.05$ a partir de 1083 bolsas. Un p pequeño dice que los datos serían poco habituales si $\mu$ fuera exactamente 500; no dice que la diferencia importe en la práctica. Tampoco vale lo contrario: un déficit real a menudo no produce alarma, así que $p > 0.05$ no demuestra que la máquina funcione correctamente. Informa del tamaño de la diferencia con un intervalo de confianza: el contraste bilateral al nivel $\alpha = 0.05$ rechaza $\mu = 500$ exactamente cuando el intervalo del 95% $\bar x \pm z^*\sigma/\sqrt{n}$ ($z^* \approx 1.96$) no incluye 500.