Distribution d’échantillonnage

Une statistique est un nombre calculé à partir d’un échantillon, comme sa moyenne ou sa médiane. Tirez à répétition des échantillons indépendants de même taille $n$ d’une population et calculez la statistique à chaque fois : ces valeurs forment sa distribution d’échantillonnage. Son espérance moins la valeur vraie est le biais ; son écart-type est l’erreur-type. Les trois couches séparent trois distributions : la population, les $n$ valeurs d’un échantillon et la distribution d’échantillonnage, avec un point par échantillon.

Pourquoi un échantillon reste-t-il étalé alors que les moyennes se resserrent ? Un échantillon est une copie approximative de la population : quand $n$ augmente, son écart-type $s$ se stabilise près de celui de la population, $\sigma$, au lieu de diminuer. La moyenne de $n$ valeurs indépendantes se comporte autrement : les valeurs au-dessus et au-dessous du centre se compensent en partie. Pour toute population de variance finie, $\operatorname{Var}(\bar x) = \sigma^2/n$, donc l’erreur-type de la moyenne est $\sigma/\sqrt{n}$. Quadrupler la taille de l’échantillon la divise par deux. L’erreur-type n’est donc pas la dispersion d’un échantillon : elle indique combien la moyenne varie d’un échantillon à l’autre. Le théorème central limite explique pourquoi les moyennes prennent aussi une forme de cloche.

Pourquoi diviser la variance de l’échantillon par $n - 1$ ? Tout échantillon vérifie $\sum (x - \mu)^2 = \sum (x - \bar x)^2 + n(\bar x - \mu)^2$. La somme des carrés des écarts est minimale lorsqu’ils sont mesurés depuis la moyenne de l’échantillon. Elle est inférieure à celle mesurée depuis la moyenne vraie de $n(\bar x - \mu)^2$, dont la moyenne vaut $n$ fois la variance de $\bar x$, soit exactement $\sigma^2$. Ainsi, $\sum (x - \bar x)^2$ vaut en moyenne $(n - 1)\sigma^2$ ; diviser par $n - 1$ rend $s^2$ sans biais, tandis que diviser par $n$ donne un déficit moyen de $\sigma^2/n$. Cette correction ne concerne que la variance : la racine carrée étant concave, $s$ sous-estime encore $\sigma$ en moyenne (d’environ 6% pour des données normales avec $n = 5$). Pour le maximum, la raison est plus simple : dans la population uniforme, toutes les valeurs sont inférieures à 100, donc le maximum d’un échantillon l’est aussi en moyenne.

La moyenne estime-t-elle toujours mieux le centre ? Cela dépend de la population. Pour une population symétrique, moyenne et médiane sont toutes deux centrées sur le vrai centre ; la meilleure est donc celle dont l’erreur-type est la plus petite. Pour des données normales, celle de la médiane est plus grande : à grand $n$, elle vaut environ $\sqrt{\pi/2} \approx 1.25$ fois celle de la moyenne. Pour des données de Laplace, aux queues plus lourdes, elle est plus petite, dans la même limite de grands échantillons, environ $1/\sqrt{2} \approx 0.71$ fois. Une valeur extrême déplace la moyenne mais presque pas la médiane, et les queues lourdes produisent souvent des valeurs extrêmes. Pour une population asymétrique, les deux peuvent estimer des nombres différents : la population exponentielle présentée ici a pour moyenne 50 et pour médiane $40 + 10\ln 2 \approx 46.93$.