Lineare Regression

Die einfache lineare Regression sagt $y$ aus $x$ mit der Kleinste-Quadrate-Geraden $\hat y = a + bx$ vorher: der Geraden mit der kleinsten Summe quadrierter Residuen. Das Residuum $e = y - \hat y$ eines Punktes gibt an, wie weit er über der Geraden liegt; unter ihr ist es negativ. Bei wenigen Punkten gehört zu jedem Residuum ein Quadrat, sodass die Summe als Fläche sichtbar wird. Du kannst eine eigene Gerade verschieben und drehen, um das Minimum zu suchen, und die angepasste Gerade mit einer simulierten Wolke aus 1000 Punkten vergleichen.

Warum verläuft die Gerade durch den Mittelpunkt $(\bar x, \bar y)$? Schreibe eine beliebige Gerade als $y = h + b(x - \bar x)$, wobei $h$ ihre Höhe bei $\bar x$ ist. Ihre Residuen summieren sich zu $n(\bar y - h)$, und ihre Quadratsumme zerfällt in zwei Teile:

Dabei sind $S_{xx}$, $S_{yy}$ und $S_{xy}$ die Summen der quadrierten beziehungsweise miteinander multiplizierten Abweichungen von den Mittelwerten. Der erste Teil hängt nur von der Höhe ab, der zweite nur von der Steigung. Bei jeder Steigung ist daher $\bar y$ die beste Höhe: Die beste Gerade verläuft durch den Mittelpunkt, und ihre Residuen summieren sich zu 0. Dreht man sie um den Mittelpunkt, folgt die Summe der Parabel $P(b)$. Sind die $x$-Werte nicht alle gleich, liegt ihr einziger Tiefpunkt bei $b = S_{xy}/S_{xx}$.

Was misst $R^2$? Die waagerechte Gerade $y = \bar y$ entspricht dem Punkt der Parabel bei Steigung 0. Ihre Quadratsumme ist die gesamte Streuung $\mathrm{SST} = S_{yy}$. Die angepasste Gerade lässt $\mathrm{SSE}$ übrig. Wenn die $y$-Werte variieren, ist $R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$ der Anteil der Streuung von $y$, den sie erklärt. Variieren beide Koordinaten, gilt $R^2 = r^2$; eine Korrelation von 0.5 erklärt also nur ein Viertel. Erklären bedeutet hier Anpassen, nicht Verursachen.

Warum ist die Gerade flacher als die Wolke? In Standardeinheiten lauten ihre Vorhersagen $\hat z_y = r\,z_x$. Bei $|r| < 1$ liegt die Vorhersage eines von $\bar x$ entfernten Punktes also weniger Standardabweichungen von $\bar y$ entfernt als der Punkt von $\bar x$. In einer ovalen Wolke wie der simulierten folgt die SD-Gerade mit Steigung $\pm s_y/s_x$ der sichtbaren Richtung der Wolke; die Regressionsgerade ist flacher. Nichts zieht die Daten zurück: Der Effekt gilt für alle solchen Daten. Die Vorhersage von $x$ aus $y$ zeigt ihn in der anderen Richtung, mit einer zweiten Geraden durch den Mittelpunkt, die im Diagramm steiler ist. In einer solchen Wolke zeigen die Mittelwerte von $y$ in schmalen Streifen von $x$ den Effekt: Sie liegen nahe an der Regressionsgeraden, aber nicht genau auf ihr. Der Name stammt aus Francis Galtons Untersuchung von Körpergrößen aus dem Jahr 1886: Kinder sehr großer oder sehr kleiner Eltern waren im Mittel weniger extrem.

Wann kann die Gerade irreführen? Hebt man einen Punkt um 1 an, steigt sein eigener angepasster Wert um seinen Hebelwert $h = 1/n + (x - \bar x)^2/S_{xx}$. Dieser wächst mit dem Abstand von $\bar x$. Ein einzelner Punkt weit außen in $x$ kann einen Hebelwert nahe 1 haben: Die Gerade folgt ihm. Selbst wenn er allen anderen Punkten widerspricht, kann sein eigenes Residuum klein aussehen. Auch in einer großen Wolke kann ein solcher Punkt die Gerade drehen. Und $r$ kann nahe 1 liegen, während die Residuen an beiden Enden positiv und in der Mitte negativ sind: eine Krümmung, der keine Gerade folgt.