Regressão linear

A regressão linear simples prevê $y$ a partir de $x$ com a reta dos mínimos quadrados $\hat y = a + bx$: a que tem a menor soma dos resíduos ao quadrado. O resíduo $e = y - \hat y$ de um ponto indica quanto fica acima da reta; é negativo abaixo dela. Com poucos pontos, cada resíduo tem um quadrado, tornando a soma numa área visível. Podes deslocar e rodar a tua própria reta para procurar o mínimo e comparar a reta ajustada com uma nuvem simulada de 1000 pontos.

Porque passa a reta pelo centro $(\bar x, \bar y)$? Escreve uma reta qualquer como $y = h + b(x - \bar x)$, sendo $h$ a sua altura em $\bar x$. Os seus resíduos somam $n(\bar y - h)$, e a soma dos quadrados divide-se em duas partes:

Aqui, $S_{xx}$, $S_{yy}$ e $S_{xy}$ são as somas dos quadrados e dos produtos dos desvios em relação às médias. A primeira parte depende apenas da altura e a segunda apenas do declive, pelo que, para qualquer declive, a melhor altura é $\bar y$: a melhor reta passa pelo centro e os seus resíduos somam 0. Ao rodar em torno do centro, a soma segue a parábola $P(b)$. Quando os valores de $x$ não são todos iguais, o seu único mínimo está em $b = S_{xy}/S_{xx}$.

O que mede $R^2$? A reta horizontal $y = \bar y$ corresponde ao ponto da parábola de declive 0, e a soma dos seus quadrados é a variação total $\mathrm{SST} = S_{yy}$. A reta ajustada deixa $\mathrm{SSE}$; quando os valores de $y$ variam, $R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$ é a proporção da variação de $y$ que explica. Quando ambas as coordenadas variam, $R^2 = r^2$, pelo que uma correlação de 0.5 explica apenas um quarto. Explicar significa ajustar, não causar.

Porque é a reta menos inclinada do que a nuvem? Em unidades padronizadas, as suas previsões são $\hat z_y = r\,z_x$. Assim, quando $|r| < 1$, um ponto afastado de $\bar x$ recebe uma previsão a menos desvios-padrão de $\bar y$ do que aqueles que o separam de $\bar x$. Numa nuvem oval como a simulada, a reta dos desvios-padrão, com declive $\pm s_y/s_x$, segue a direção aparente da nuvem; a reta de regressão é menos inclinada. Nada puxa os dados de volta: o efeito verifica-se em quaisquer dados deste tipo. Prever $x$ a partir de $y$ mostra-o no sentido contrário, com uma segunda reta pelo centro, mais inclinada no gráfico. Numa nuvem assim, as médias de $y$ em faixas estreitas de $x$ mostram o efeito: ficam perto da reta de regressão, mas não exatamente sobre ela. O nome vem do estudo de Francis Galton sobre alturas, de 1886: os filhos de pais muito altos ou muito baixos eram, em média, menos extremos.

Quando pode a reta induzir em erro? Subir um ponto 1 aumenta o seu próprio valor ajustado pela sua alavancagem $h = 1/n + (x - \bar x)^2/S_{xx}$, que cresce com a distância a $\bar x$. Um ponto isolado muito afastado em $x$ pode ter alavancagem próxima de 1: a reta acompanha-o. Mesmo que discorde de todos os outros pontos, o seu próprio resíduo pode parecer pequeno; mesmo numa nuvem grande, um ponto assim pode rodar a reta. E $r$ pode estar perto de 1 enquanto os resíduos são positivos nas duas extremidades e negativos ao meio: uma curva que nenhuma reta acompanha.