Régression linéaire

La régression linéaire simple prédit $y$ à partir de $x$ avec la droite des moindres carrés $\hat y = a + bx$ : celle qui minimise la somme des carrés des résidus. Le résidu $e = y - \hat y$ d’un point indique de combien il est au-dessus de la droite ; il est négatif en dessous. Avec peu de points, chaque résidu porte un carré : la somme devient une aire visible. Vous pouvez déplacer et faire tourner votre propre droite pour chercher le minimum, puis comparer la droite ajustée à un nuage simulé de 1000 points.

Pourquoi la droite passe-t-elle par le centre $(\bar x, \bar y)$ ? Écrivez une droite quelconque sous la forme $y = h + b(x - \bar x)$, où $h$ est sa hauteur à $\bar x$. Ses résidus ont pour somme $n(\bar y - h)$, et sa somme des carrés se décompose en deux parties :

Ici, $S_{xx}$, $S_{yy}$ et $S_{xy}$ sont les sommes des carrés et des produits des écarts aux moyennes. La première partie ne dépend que de la hauteur, la seconde que de la pente. Quelle que soit la pente, la meilleure hauteur est donc $\bar y$ : la meilleure droite passe par le centre, et ses résidus ont pour somme 0. En tournant autour du centre, la somme suit la parabole $P(b)$. Quand les valeurs de $x$ ne sont pas toutes identiques, son unique minimum se trouve en $b = S_{xy}/S_{xx}$.

Que mesure $R^2$ ? La droite horizontale $y = \bar y$ correspond au point de la parabole de pente 0, et sa somme des carrés est la variation totale $\mathrm{SST} = S_{yy}$. La droite ajustée laisse $\mathrm{SSE}$ ; lorsque les valeurs de $y$ varient, $R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$ est la part de la variation de $y$ qu’elle explique. Quand les deux coordonnées varient, $R^2 = r^2$ : une corrélation de 0.5 n’explique donc qu’un quart. Expliquer signifie ici ajuster, pas causer.

Pourquoi la droite est-elle moins pentue que le nuage ? En unités standardisées, ses prédictions sont $\hat z_y = r\,z_x$. Lorsque $|r| < 1$, la prédiction d’un point éloigné de $\bar x$ se trouve donc à moins d’écarts-types de $\bar y$ que le point n’en est de $\bar x$. Dans un nuage ovale comme celui de la simulation, la droite des écarts-types, de pente $\pm s_y/s_x$, suit la direction apparente du nuage ; la droite de régression est moins pentue. Rien ne ramène les données en arrière : l’effet vaut pour toutes ces données. Prédire $x$ à partir de $y$ le montre dans l’autre sens, avec une seconde droite passant par le centre, plus pentue sur le graphique. Dans un tel nuage, les moyennes de $y$ dans des bandes étroites de $x$ montrent cet effet : elles sont proches de la droite de régression, mais pas exactement dessus. Le nom vient de l’étude des tailles menée par Francis Galton en 1886 : les enfants de parents très grands ou très petits étaient en moyenne moins extrêmes.

Quand la droite peut-elle induire en erreur ? Monter un point de 1 augmente sa propre valeur ajustée de son levier $h = 1/n + (x - \bar x)^2/S_{xx}$, qui croît avec la distance à $\bar x$. Un point isolé très loin en $x$ peut avoir un levier proche de 1 : la droite le suit. Même s’il contredit tous les autres points, son propre résidu peut paraître petit ; même dans un grand nuage, un tel point peut faire tourner la droite. Et $r$ peut être proche de 1 alors que les résidus sont positifs aux deux extrémités et négatifs au milieu : une courbe qu’aucune droite ne peut suivre.