Puissance statistique

La puissance d’un test est la probabilité qu’il rejette l’hypothèse nulle $H_0$ lorsqu’une alternative donnée est vraie. Ici, $H_0$ affirme qu’une machine remplit les sachets avec $\mu = 500$ g en moyenne. Leurs poids sont indépendants et suivent une loi normale avec $\sigma = 10$ g. Une étude pèse $n$ sachets et rejette $H_0$ au niveau $\alpha$ lorsque leur moyenne $\bar x$ franchit une valeur critique. La puissance pour une moyenne réelle $\mu$ est l’aire de la courbe réelle au-delà de cette valeur ; le reste, $\beta$, est la probabilité de manquer l’écart, une erreur de deuxième espèce. À $\mu = 500$, il n’y a aucun écart à manquer, et la puissance vaut $\alpha$.

De quoi dépend la puissance ? Pour le test de $H_1\!: \mu < 500$ avec un manque $\delta = 500 - \mu$, elle vaut $\Phi(\delta\sqrt{n}/\sigma - z_{1-\alpha})$. Un écart plus grand ou davantage de sachets l’augmentent ; un $\alpha$ plus strict éloigne la valeur critique de 500 et la réduit. Comme $n$ n’intervient que par $\sqrt{n}$, le nombre de sachets requis pour une puissance donnée croît comme $1/\delta^2$. Le sens compte tout autant : si la machine remplit trop, la puissance du test de $\mu < 500$ tend vers 0, et davantage de sachets la réduisent encore. Un test bilatéral répartit $\alpha$ entre les deux queues : il détecte un écart de chaque côté, mais il est moins puissant qu’un test unilatéral du côté que celui-ci surveille.

Pourquoi un résultat non significatif ne prouve-t-il pas l’absence de différence ? Un test peu puissant manque généralement une différence réelle : avec 25 sachets et $\alpha = 0.05$, le test unilatéral ne détecte un manque de 2 g qu’environ une fois sur quatre. La plupart des études de cette machine sont donc non significatives. La valeur d’un tel résultat dépend de la puissance face à un écart jugé pertinent. Ce calcul se fait avant de voir les données : choisir le plus petit écart important, puis un $n$ assurant une puissance suffisante, souvent 80%.

Pourquoi les estimations significatives exagèrent-elles en moyenne l’écart lorsque la puissance est faible ? Prenons une machine qui remplit réellement trop peu, testée dans ce sens. Seules les études dont la moyenne tombe par hasard nettement sous 500 franchissent la valeur critique. Les études significatives forment donc un groupe sélectionné : leur estimation moyenne est la moyenne de la partie de la courbe réelle située au-delà de cette valeur, soit un manque supérieur au manque réel. La valeur critique impose elle-même un minimum : avec 25 sachets et $\alpha = 0.05$, un résultat significatif doit estimer un manque supérieur à environ 3.29 g, quel que soit le manque réel. À $n$ et $\alpha$ fixés, plus le manque réel est faible, plus la puissance est faible et plus le facteur d’exagération moyen des estimations significatives est grand : c’est une erreur de type M (magnitude). Dans un test bilatéral, certains résultats significatifs indiquent même le mauvais sens : une erreur de type S (signe). Un ensemble de travaux ne rapportant que les résultats significatifs porte ce biais.