Regresión lineal

La regresión lineal simple predice $y$ a partir de $x$ con la recta de mínimos cuadrados $\hat y = a + bx$: la que tiene la menor suma de residuos al cuadrado. El residuo $e = y - \hat y$ de un punto indica cuánto queda por encima de la recta; es negativo por debajo. Con pocos puntos, cada residuo lleva un cuadrado, de modo que la suma es un área visible. Puedes desplazar y girar tu propia recta para buscar el mínimo y comparar la recta ajustada con una nube simulada de 1000 puntos.

¿Por qué pasa la recta por el centro $(\bar x, \bar y)$? Escribe cualquier recta como $y = h + b(x - \bar x)$, donde $h$ es su altura en $\bar x$. Sus residuos suman $n(\bar y - h)$, y su suma de cuadrados se divide en dos partes:

Aquí, $S_{xx}$, $S_{yy}$ y $S_{xy}$ son las sumas de los cuadrados y de los productos de las desviaciones respecto a las medias. La primera parte depende solo de la altura y la segunda solo de la pendiente, por lo que, sea cual sea la pendiente, la mejor altura es $\bar y$: la mejor recta pasa por el centro y sus residuos suman 0. Al girarla alrededor del centro, la suma sigue la parábola $P(b)$. Cuando los valores de $x$ no son todos iguales, su único mínimo está en $b = S_{xy}/S_{xx}$.

¿Qué mide $R^2$? La recta horizontal $y = \bar y$ corresponde al punto de la parábola con pendiente 0, y su suma de cuadrados es la variación total $\mathrm{SST} = S_{yy}$. La recta ajustada deja $\mathrm{SSE}$; cuando los valores de $y$ varían, $R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$ es la proporción de la variación de $y$ que explica. Cuando ambas coordenadas varían, $R^2 = r^2$, así que una correlación de 0.5 explica solo una cuarta parte. Explicar aquí significa ajustar, no causar.

¿Por qué es la recta menos inclinada que la nube? En unidades tipificadas, sus predicciones son $\hat z_y = r\,z_x$. Por tanto, cuando $|r| < 1$, un punto alejado de $\bar x$ recibe una predicción a menos desviaciones típicas de $\bar y$ que las que lo separan de $\bar x$. En una nube ovalada como la simulada, la recta de desviaciones típicas, de pendiente $\pm s_y/s_x$, sigue la dirección visual de la nube; la recta de regresión es menos inclinada. Nada tira de los datos hacia atrás: el efecto se da en cualquier conjunto de este tipo. Predecir $x$ a partir de $y$ lo muestra en sentido inverso, con una segunda recta por el centro que resulta más inclinada en el gráfico. En una nube así, las medias de $y$ en franjas estrechas de $x$ muestran el efecto: están cerca de la recta de regresión, aunque no exactamente sobre ella. El nombre procede del estudio de estaturas de Francis Galton de 1886: los hijos de padres muy altos o muy bajos eran, de media, menos extremos.

¿Cuándo puede engañar la recta? Subir un punto 1 aumenta su propio valor ajustado en su apalancamiento $h = 1/n + (x - \bar x)^2/S_{xx}$, que crece con la distancia a $\bar x$. Un punto aislado muy alejado en $x$ puede tener un apalancamiento cercano a 1: la recta lo sigue. Aunque no concuerde con ninguno de los demás puntos, su propio residuo puede parecer pequeño; incluso en una nube grande, un punto así puede girar la recta. Además, $r$ puede acercarse a 1 mientras los residuos son positivos en ambos extremos y negativos en el centro: una curva que ninguna recta puede seguir.