Valore p

Un test d’ipotesi chiede se i dati sarebbero sorprendenti sotto un’affermazione di riferimento, l’ipotesi nulla $H_0$. Qui $H_0$ afferma che una macchina riempie i sacchetti con $\mu = 500$ g in media. I pesi sono indipendenti e normali con $\sigma = 10$ g; uno studio pesa $n$ sacchetti e ne calcola la media $\bar x$. Il valore p è la probabilità, calcolata come se $H_0$ fosse vera, di una media almeno altrettanto estrema di quella osservata, nella direzione indicata dall’ipotesi alternativa $H_1$. Un test al livello $\alpha = 0.05$ genera un allarme quando $p < 0.05$.

Di che cosa è esattamente la probabilità p? Sotto $H_0$, la media $\bar X$ è normale con media 500 ed errore standard $10/\sqrt{n}$, quindi la media osservata si trova in $z = (\bar x - 500)/(10/\sqrt{n})$. Per $H_1\!: \mu < 500$, il valore p è l’area a sinistra di $z$, $\Phi(z)$; per $\mu > 500$, è l’area a destra; per $\mu \neq 500$, sono entrambe le code, $2\Phi(-|z|)$. Le ripetizioni mostrano la stessa cosa contando: su una macchina che riempie davvero in media 500 g, la quota di studi con una media almeno altrettanto estrema si stabilizza vicino a p. La direzione va scelta prima di vedere i dati. Scegliere dopo il minore dei due valori p unilaterali genera un allarme nel 10% dei casi in cui $H_0$ è vera, il doppio del tasso dichiarato. Con la direzione fissata in anticipo, p è uniforme tra 0 e 1 sotto $H_0$, quindi la probabilità di un falso allarme è esattamente $\alpha$.

Perché p non è la probabilità che $H_0$ sia vera? È calcolato interamente nel mondo di $H_0$: è $P(\text{una media almeno altrettanto estrema} \mid H_0)$, non $P(H_0 \mid \text{i dati})$. Invertire il condizionamento richiede due quantità che p non usa mai: quanto siano comuni in partenza le macchine che riempiono in difetto e la potenza, cioè la probabilità che il test generi un allarme su una di queste macchine. Con 25 sacchetti e 3 g di ammanco, la potenza è circa $\Phi(1.5 - 1.645)$. Nella forma in odds del Teorema di Bayes, un allarme moltiplica le odds di «riempimento in difetto contro corretto» per potenza ÷ $\alpha$, qui circa 8,85, portando odds a priori di 1 : 4 a circa 2,2 : 1. Dopo lo stesso allarme, la quota di macchine corrette tra gli allarmi è circa il 2,7% quando l’80% delle macchine riempie in difetto e circa il 68% quando lo fa il 5%. Queste quote usano soltanto il fatto che sia scattato un allarme; il valore specifico di $\bar x$ dice di più.

Perché una differenza minima può essere significativa? A parità di ammanco osservato, $|z| = |\bar x - 500|\sqrt{n}/\sigma$ cresce con $\sqrt{n}$, quindi il valore p della coda sinistra diminuisce pesando più sacchetti: quadruplicare i sacchetti raddoppia $|z|$. Nel test di coda sinistra, mezzo grammo sotto 500 è significativo al livello $\alpha = 0.05$ a partire da 1083 sacchetti. Un p piccolo dice che i dati sarebbero insoliti se $\mu$ fosse esattamente 500; non dice che la differenza abbia importanza pratica. Neppure il contrario vale: un ammanco reale spesso non genera allarmi, quindi $p > 0.05$ non dimostra che la macchina sia corretta. Riporta l’entità della differenza con un intervallo di confidenza: il test bilaterale al livello $\alpha = 0.05$ rifiuta $\mu = 500$ esattamente quando l’intervallo al 95% $\bar x \pm z^*\sigma/\sqrt{n}$ ($z^* \approx 1.96$) esclude 500.