Methode der kleinsten Quadrate

Drei Punkte liegen selten auf einer Geraden; jede Gerade verfehlt dann einige davon. Links siehst du die Punkte, die beste Gerade und ihre Residuen: vertikale Abweichungen, deren Quadrate sich zur SSE addieren. Rechts bilden dieselben drei Höhen einen einzigen Vektor im Raum. Die beste Gerade zu finden heißt dort, diesen Vektor auf eine Ebene zu projizieren. Du kannst die Punkte bewegen, eine eigene Gerade ausprobieren und zwei einfachere Modelle vergleichen.

Warum sind die Daten ein einziger Punkt? Schreibe die drei Höhen als Vektor $\vec b = (y_1, y_2, y_3)$. Das ist der blaue Pfeil rechts; die Achsen heißen $y_1, y_2, y_3$, weil jede eine Höhe misst. Eine Gerade nimmt an den drei Stellen $x_i$ die Werte $c + m x_i$ an. Zusammen bilden sie den Vektor $c\,\mathbf 1 + m\,\vec x$ mit $\mathbf 1 = (1, 1, 1)$. Im allgemeinen Modell $y = c + mx$, sofern die $x_i$ nicht alle gleich sind, füllen diese Vektoren die transparente Ebene durch $\mathbf 1$ und $\vec x$, wenn $c$ und $m$ variieren. Jede Gerade, die du links zeichnen könntest, entspricht also einem Punkt dieser Ebene.

Wähle irgendeine Gerade. Ihre Residuen sind die Koordinaten von $\vec b$ minus den Koordinaten ihres Punktes in der Ebene. Ihre SSE ist somit der quadrierte Abstand der beiden Punkte. Die beste Gerade liegt daher beim Punkt $\vec p$ der Ebene, der $\vec b$ am nächsten ist: der orthogonalen Projektion. Der Residuenvektor $\vec r = \vec b - \vec p$ steht senkrecht auf der Ebene, also sowohl auf $\mathbf 1$ als auch auf $\vec x$. Ausgeschrieben sind diese beiden rechten Winkel die Normalgleichungen:

Mit Rechte Winkel und Gleichgewicht werden die Residuen zu vertikalen Federn gleicher Steifigkeit. Ihre Gesamtkraft ist proportional zu $\sum r_i$, ihr Drehmoment um den Ursprung zu $\sum x_i r_i$. Die allgemeine Anpassung macht beides null. Beim konstanten Modell muss nur die Gesamtkraft verschwinden, bei der Ursprungsgeraden nur das Drehmoment.

Deine Gerade ist rot gezeichnet und gehört stets zum aktuellen Modell. Ihr Punkt $\vec q$ liegt daher in derselben Ebene oder auf derselben Geraden wie $\vec p$. Auch die Strecke von $\vec p$ nach $\vec q$ liegt dort, während $\vec r$ senkrecht dazu steht. Deshalb zerlegt Pythagoras deinen Fehler exakt. Deine SSE erreicht genau dann das Minimum, wenn $\vec q = \vec p$ gilt.

Die zwei kleineren Modelle behalten je eine Spalte. Das Anpassen von $y = c$ projiziert $\vec b$ auf die Gerade durch $\mathbf 1$; als $c$ ergibt sich der Mittelwert der Höhen. Das Anpassen von $y = mx$ projiziert auf die Gerade durch $\vec x$ oder nur auf den Ursprung, wenn alle $x_i$ gleich 0 sind. Sind die $x_i$ nicht alle gleich, sind dies zwei verschiedene Geraden in der Ebene. Keines der Modelle enthält das andere, und die allgemeine Gerade passt mindestens so gut wie beide. Dieselbe Projektion bildet den Kern der linearen Regression.