Valeur p

Un test d’hypothèse demande si les données seraient surprenantes sous une affirmation de référence, l’hypothèse nulle $H_0$. Ici, $H_0$ affirme qu’une machine remplit les sacs avec $\mu = 500$ g en moyenne. Les poids sont indépendants et suivent une loi normale avec $\sigma = 10$ g ; une étude pèse $n$ sacs et calcule leur moyenne $\bar x$. La valeur p est la probabilité, calculée comme si $H_0$ était vraie, d’une moyenne au moins aussi extrême que celle observée, dans le sens indiqué par l’hypothèse alternative $H_1$. Un test au niveau $\alpha = 0.05$ déclenche une alerte lorsque $p < 0.05$.

De quoi p est-elle exactement la probabilité ? Sous $H_0$, la moyenne $\bar X$ suit une loi normale de moyenne 500 et d’erreur-type $10/\sqrt{n}$ ; la moyenne observée se situe donc en $z = (\bar x - 500)/(10/\sqrt{n})$. Pour $H_1\!: \mu < 500$, la valeur p est l’aire à gauche de $z$, soit $\Phi(z)$ ; pour $\mu > 500$, c’est l’aire à droite ; pour $\mu \neq 500$, ce sont les deux queues, $2\Phi(-|z|)$. Les répétitions montrent la même chose par comptage : avec une machine qui remplit réellement 500 g en moyenne, la proportion d’études dont la moyenne est au moins aussi extrême se stabilise près de p. Il faut choisir le sens avant de voir les données. Choisir ensuite la plus petite des deux valeurs p unilatérales déclenche une alerte dans 10% des cas où $H_0$ est vraie, soit le double du taux annoncé. Si le sens est fixé à l’avance, p suit une loi uniforme entre 0 et 1 sous $H_0$ : le test donne donc une fausse alerte avec une probabilité exactement égale à $\alpha$.

Pourquoi p n’est-elle pas la probabilité que $H_0$ soit vraie ? Elle est calculée entièrement dans le monde de $H_0$ : c’est $P(\text{une moyenne au moins aussi extrême} \mid H_0)$, et non $P(H_0 \mid \text{les données})$. Inverser le conditionnement nécessite deux quantités que p n’utilise jamais : la fréquence initiale des machines sous-remplissant et la puissance, c’est-à-dire la probabilité que le test déclenche une alerte sur une telle machine. Avec 25 sacs et un déficit de 3 g, la puissance vaut environ $\Phi(1.5 - 1.645)$. Dans la forme en cotes du Théorème de Bayes, une alerte multiplie les cotes « sous-remplissage contre conformité » par puissance ÷ $\alpha$, soit environ 8,85 ici. Des cotes a priori de 1 : 4 deviennent ainsi environ 2,2 : 1. Après la même alerte, la part de machines conformes parmi les alertes vaut environ 2,7% si 80% des machines sous-remplissent, et environ 68% si elles sont 5%. Ces proportions n’utilisent que le fait qu’une alerte a été déclenchée ; la valeur de $\bar x$ elle-même apporte davantage d’information.

Pourquoi une différence infime peut-elle être significative ? À déficit observé fixé, $|z| = |\bar x - 500|\sqrt{n}/\sigma$ augmente avec $\sqrt{n}$ : plus on pèse de sacs, plus la valeur p du test à gauche diminue. Quatre fois plus de sacs doublent $|z|$. Pour ce test, un demi-gramme de moins que 500 devient significatif au niveau $\alpha = 0.05$ à partir de 1083 sacs. Un petit p indique que les données seraient inhabituelles si $\mu$ valait exactement 500 ; il ne dit pas que la différence a une importance pratique. La réciproque échoue aussi : un vrai déficit ne déclenche souvent aucune alerte, donc $p > 0.05$ ne prouve pas que la machine est conforme. Présentez l’ampleur de la différence avec un intervalle de confiance : le test bilatéral au niveau $\alpha = 0.05$ rejette $\mu = 500$ exactement quand l’intervalle à 95% $\bar x \pm z^*\sigma/\sqrt{n}$ ($z^* \approx 1.96$) exclut 500.