Mínimos quadrados

Raramente três pontos pertencem à mesma reta, pelo que qualquer reta falha alguns deles. À esquerda estão os pontos, a melhor reta e os seus resíduos, os desvios verticais cujos quadrados somam a SSE. À direita, as mesmas três alturas formam um vetor no espaço, e encontrar a melhor reta significa projetar esse vetor num plano. Pode mover os pontos, experimentar uma reta sua e comparar dois modelos mais simples.

Porque são os dados um único ponto? Escreva as três alturas como um vetor $\vec b = (y_1, y_2, y_3)$. É a seta azul à direita, e os eixos chamam-se $y_1, y_2, y_3$ porque cada um mede uma altura. Uma reta toma os valores $c + m x_i$ nos três $x_i$, formando o vetor $c\,\mathbf 1 + m\,\vec x$, com $\mathbf 1 = (1, 1, 1)$. No modelo geral $y = c + mx$, se os $x_i$ não forem todos iguais, estes vetores preenchem o plano transparente que passa por $\mathbf 1$ e $\vec x$ à medida que $c$ e $m$ variam. Assim, cada reta que poderia desenhar à esquerda é um ponto desse plano.

Escolha uma reta qualquer. Os seus resíduos são as coordenadas de $\vec b$ menos as do ponto correspondente no plano, pelo que a sua SSE é o quadrado da distância entre ambos. A melhor reta corresponde, portanto, ao ponto $\vec p$ do plano mais próximo de $\vec b$, a projeção ortogonal. O vetor resíduo $\vec r = \vec b - \vec p$ é perpendicular ao plano e, por isso, também a $\mathbf 1$ e a $\vec x$. Escritos em fórmulas, os dois ângulos retos são as equações normais:

Com Ângulos retos e equilíbrio ativado, os resíduos tornam-se molas verticais de igual rigidez. A sua força resultante é proporcional a $\sum r_i$, e o seu momento em relação à origem a $\sum x_i r_i$. O ajuste geral anula ambos. No modelo constante, basta anular a força resultante; na reta pela origem, basta anular o momento.

A sua reta, desenhada a vermelho, pertence sempre ao modelo atual, pelo que o seu ponto $\vec q$ está no mesmo plano ou na mesma reta que $\vec p$. O deslocamento de $\vec p$ para $\vec q$ também está nesse espaço, enquanto $\vec r$ lhe é perpendicular. O teorema de Pitágoras decompõe assim o seu erro exatamente. A sua SSE atinge o mínimo se e só se $\vec q = \vec p$.

Os dois modelos reduzidos mantêm uma coluna cada. Ajustar $y = c$ projeta $\vec b$ na reta que passa por $\mathbf 1$, e $c$ é a média das alturas. Ajustar $y = mx$ projeta na reta que passa por $\vec x$, ou apenas na origem quando todos os $x_i$ são 0. Quando os $x_i$ não são todos iguais, estas são duas retas diferentes no plano. Nenhum dos modelos contém o outro, e a reta geral ajusta-se pelo menos tão bem como ambos. A mesma projeção está na base da regressão linear.