Minimi quadrati

Tre punti raramente sono allineati, quindi qualunque retta non passa per tutti. A sinistra ci sono i punti, la retta migliore e i suoi residui, gli scarti verticali i cui quadrati si sommano nella SSE. A destra le stesse tre altezze formano un vettore nello spazio, e trovare la retta migliore significa proiettarlo su un piano. Puoi spostare i punti, provare una tua retta e confrontare due modelli più semplici.

Perché i dati diventano un solo punto? Scrivi le tre altezze come un vettore $\vec b = (y_1, y_2, y_3)$. È la freccia blu a destra, e gli assi si chiamano $y_1, y_2, y_3$ perché ciascuno misura un'altezza. Una retta assume i valori $c + m x_i$ in corrispondenza delle tre $x_i$: è il vettore $c\,\mathbf 1 + m\,\vec x$, dove $\mathbf 1 = (1, 1, 1)$. Nel modello generale $y = c + mx$, se le $x_i$ non sono tutte uguali, al variare di $c$ e $m$ questi vettori riempiono il piano trasparente che passa per $\mathbf 1$ e $\vec x$. Ogni retta che potresti disegnare a sinistra corrisponde quindi a un punto di quel piano.

Scegli una retta qualsiasi. I suoi residui sono le coordinate di $\vec b$ meno quelle del punto corrispondente nel piano, quindi la sua SSE è la distanza al quadrato tra i due. La retta migliore corrisponde perciò al punto $\vec p$ del piano più vicino a $\vec b$, ossia alla proiezione ortogonale. Il vettore residuo $\vec r = \vec b - \vec p$ è perpendicolare al piano, dunque anche a $\mathbf 1$ e a $\vec x$. Scritti in formule, i due angoli retti sono le equazioni normali:

Attivando Angoli retti ed equilibrio, i residui diventano molle verticali di uguale rigidità. La loro forza risultante è proporzionale a $\sum r_i$, e il loro momento rispetto all'origine a $\sum x_i r_i$. L'adattamento generale annulla entrambi. Per il modello costante basta che si annulli la forza risultante; per la retta passante per l'origine, basta che si annulli il momento.

La tua retta, disegnata in rosso, appartiene sempre al modello corrente, quindi il suo punto $\vec q$ si trova nello stesso piano o sulla stessa retta di $\vec p$. Anche lo spostamento da $\vec p$ a $\vec q$ vi giace, mentre $\vec r$ è perpendicolare a quel piano o a quella retta: il teorema di Pitagora scompone quindi esattamente il tuo errore. La tua SSE raggiunge il minimo se e solo se $\vec q = \vec p$.

I due modelli ridotti mantengono una colonna ciascuno. Adattare $y = c$ ai dati significa proiettare $\vec b$ sulla retta passante per $\mathbf 1$, e $c$ risulta essere la media delle altezze. Adattare $y = mx$ significa proiettare sulla retta passante per $\vec x$, o solo sull'origine quando ogni $x_i$ è 0. Se le $x_i$ non sono tutte uguali, si tratta di due rette distinte nel piano. Nessuno dei due modelli contiene l'altro, e la retta generale si adatta almeno altrettanto bene di entrambi. La stessa proiezione è alla base della regressione lineare.