Potenza statistica

La potenza di un test è la probabilità che rifiuti l’ipotesi nulla $H_0$ quando una particolare alternativa è vera. Qui $H_0$ afferma che una macchina riempie i sacchetti con $\mu = 500$ g in media; i pesi sono indipendenti e normali con $\sigma = 10$ g. Uno studio pesa $n$ sacchetti e rifiuta $H_0$ al livello $\alpha$ quando la media $\bar x$ oltrepassa un valore critico. La potenza per una media vera $\mu$ è l’area della curva vera oltre quel valore; il resto, $\beta$, è la probabilità di non rilevare la differenza, un errore di II tipo. In $\mu = 500$ non c’è alcuna differenza da rilevare e la potenza è proprio $\alpha$.

Da cosa dipende la potenza? Per il test di $H_1\!: \mu < 500$ con un ammanco $\delta = 500 - \mu$, la potenza è $\Phi(\delta\sqrt{n}/\sigma - z_{1-\alpha})$. Una differenza maggiore o più sacchetti la aumentano; un $\alpha$ più severo allontana il valore critico da 500 e la riduce. Poiché $n$ entra solo attraverso $\sqrt{n}$, il numero di sacchetti necessario per una data potenza cresce come $1/\delta^2$. La direzione conta altrettanto: se la macchina riempie troppo, la potenza del test di $\mu < 500$ tende a 0 e più sacchetti la abbassano ulteriormente. Un test bilaterale divide $\alpha$ fra le due code, rilevando differenze da entrambi i lati; ma dal lato osservato da un test unilaterale ha meno potenza di quest’ultimo.

Perché un risultato non significativo non dimostra che non ci sia differenza? Perché un test poco potente di solito non rileva una differenza reale: con 25 sacchetti e $\alpha = 0.05$, il test unilaterale rileva un ammanco di 2 g solo circa una volta su quattro. La maggior parte degli studi su quella macchina risulta quindi non significativa. Il valore di un risultato non significativo dipende dalla potenza rispetto a una differenza rilevante, calcolata prima di vedere i dati: si sceglie la minima differenza che conta, poi un $n$ che dia potenza sufficiente, spesso l’80%.

Perché le stime significative esagerano in media la differenza quando la potenza è bassa? Prendiamo una macchina che riempie davvero troppo poco, sottoposta a un test in quella direzione. Solo gli studi la cui media cade per caso molto sotto 500 oltrepassano il valore critico. Quelli significativi sono dunque un gruppo selezionato: la loro stima media è la media della porzione di curva vera oltre il valore critico, corrispondente a un ammanco maggiore di quello vero. Il valore critico stesso impone un minimo: con 25 sacchetti e $\alpha = 0.05$, un risultato significativo deve stimare un ammanco superiore a circa 3.29 g, qualunque sia quello vero. Tenendo fissi $n$ e $\alpha$, più piccolo è l’ammanco vero, minore è la potenza e maggiore è il fattore con cui le stime significative lo esagerano in media: un errore di tipo M (magnitudine). In un test bilaterale alcuni risultati significativi indicano persino la direzione sbagliata: un errore di tipo S (segno). Un insieme di ricerche che riporta solo risultati significativi incorpora questa distorsione.