Moindres carrés

Trois points sont rarement alignés : toute droite en manque donc certains. À gauche figurent les points, la meilleure droite et ses résidus, les écarts verticaux dont les carrés ont pour somme SSE. À droite, les mêmes trois hauteurs forment un seul vecteur dans l’espace ; trouver la meilleure droite revient à projeter ce vecteur sur un plan. Vous pouvez déplacer les points, essayer votre propre droite et comparer deux modèles plus simples.

Pourquoi les données ne forment-elles qu’un point ? Écrivez les trois hauteurs comme un vecteur $\vec b = (y_1, y_2, y_3)$. C’est la flèche bleue à droite. Ses axes s’appellent $y_1, y_2, y_3$, car chacun mesure une hauteur. Une droite prend les valeurs $c + m x_i$ aux trois $x_i$, soit le vecteur $c\,\mathbf 1 + m\,\vec x$ avec $\mathbf 1 = (1, 1, 1)$. Dans le modèle général $y = c + mx$, si les $x_i$ ne sont pas tous égaux, ces vecteurs remplissent le plan transparent passant par $\mathbf 1$ et $\vec x$ lorsque $c$ et $m$ varient. Chaque droite que vous pourriez tracer à gauche correspond donc à un point de ce plan.

Choisissez une droite. Ses résidus sont les coordonnées de $\vec b$ moins celles de son point dans le plan : sa SSE est donc le carré de la distance entre les deux. La meilleure droite correspond alors au point $\vec p$ du plan le plus proche de $\vec b$, la projection orthogonale. Le vecteur des résidus $\vec r = \vec b - \vec p$ est perpendiculaire au plan, donc à la fois à $\mathbf 1$ et à $\vec x$. Ces deux angles droits, écrits sous forme algébrique, donnent les équations normales :

Avec Angles droits et équilibre, les résidus deviennent des ressorts verticaux de même raideur. Leur force résultante est proportionnelle à $\sum r_i$, et leur moment autour de l’origine à $\sum x_i r_i$. L’ajustement général annule les deux. Le modèle constant exige seulement l’annulation de la force résultante, et la droite passant par l’origine seulement celle du moment.

Votre droite, tracée en rouge, appartient toujours au modèle actuel : son point $\vec q$ se trouve donc dans le même plan ou sur la même droite que $\vec p$. Le déplacement de $\vec p$ à $\vec q$ y est aussi contenu, tandis que $\vec r$ lui est perpendiculaire. Pythagore décompose ainsi exactement votre erreur. Votre SSE atteint son minimum exactement lorsque $\vec q = \vec p$.

Les deux modèles plus simples gardent chacun une colonne. Ajuster $y = c$ projette $\vec b$ sur la droite passant par $\mathbf 1$, et $c$ est la moyenne des hauteurs. Ajuster $y = mx$ projette sur la droite passant par $\vec x$, ou sur la seule origine si tous les $x_i$ valent 0. Lorsque les $x_i$ ne sont pas tous égaux, ce sont deux droites distinctes du plan. Aucun modèle ne contient l’autre, et la droite générale fait au moins aussi bien que chacun d’eux. La même projection est au cœur de la régression linéaire.