Mínimos cuadrados

Tres puntos rara vez están alineados, así que cualquier recta deja alguno fuera. A la izquierda están los puntos, la mejor recta y sus residuos, las diferencias verticales cuyos cuadrados suman SSE. A la derecha, las mismas tres alturas forman un solo vector en el espacio, y encontrar la mejor recta equivale a proyectarlo sobre un plano. Puedes mover los puntos, probar tu propia recta y comparar dos modelos más sencillos.

¿Por qué los datos son un solo punto? Escribe las tres alturas como un vector $\vec b = (y_1, y_2, y_3)$. Es la flecha azul de la derecha, cuyos ejes se llaman $y_1, y_2, y_3$ porque cada uno mide una altura. Una recta toma los valores $c + m x_i$ en los tres $x_i$, lo que da el vector $c\,\mathbf 1 + m\,\vec x$ con $\mathbf 1 = (1, 1, 1)$. En el modelo general $y = c + mx$, si los $x_i$ no son todos iguales, estos vectores llenan el plano transparente que pasa por $\mathbf 1$ y $\vec x$ al variar $c$ y $m$. Así, cada recta que podrías dibujar a la izquierda corresponde a un punto de ese plano.

Elige cualquier recta. Sus residuos son las coordenadas de $\vec b$ menos las de su punto en el plano, así que su SSE es el cuadrado de la distancia entre ambos. La mejor recta corresponde, por tanto, al punto $\vec p$ del plano más cercano a $\vec b$: la proyección ortogonal. El vector de residuos $\vec r = \vec b - \vec p$ es perpendicular al plano, de modo que es perpendicular tanto a $\mathbf 1$ como a $\vec x$. Escritos algebraicamente, esos dos ángulos rectos son las ecuaciones normales:

Al activar Ángulos rectos y equilibrio, los residuos se convierten en muelles verticales de igual rigidez. Su fuerza neta es proporcional a $\sum r_i$, y su momento respecto al origen a $\sum x_i r_i$. El ajuste general hace que ambos sean cero. El modelo constante solo exige que se anule la fuerza neta, y la recta por el origen solo exige que se anule el momento.

Tu recta, dibujada en rojo, siempre pertenece al modelo actual. Por eso, su punto $\vec q$ está en el mismo plano o recta que $\vec p$. El desplazamiento de $\vec p$ a $\vec q$ también está allí, mientras que $\vec r$ es perpendicular a él; Pitágoras descompone así tu error exactamente. Tu SSE alcanza el mínimo exactamente cuando $\vec q = \vec p$.

Los dos modelos más sencillos conservan una columna cada uno. Ajustar $y = c$ proyecta $\vec b$ sobre la recta que pasa por $\mathbf 1$, y $c$ resulta ser la media de las alturas. Ajustar $y = mx$ proyecta sobre la recta que pasa por $\vec x$, o solo sobre el origen cuando todos los $x_i$ son 0. Si los $x_i$ no son todos iguales, son dos rectas distintas del plano. Ningún modelo contiene al otro, y la recta general se ajusta al menos tan bien como ambos. La misma proyección es la base de la regresión lineal.