Regressione lineare

La regressione lineare semplice prevede $y$ da $x$ con la retta dei minimi quadrati $\hat y = a + bx$: quella con la minima somma dei residui al quadrato. Il residuo $e = y - \hat y$ di un punto indica quanto si trova sopra la retta; è negativo sotto. Con pochi punti, ogni residuo porta un quadrato, così la somma diventa un’area visibile. Puoi spostare e ruotare la tua retta per cercare il minimo e confrontare la retta adattata con una nuvola simulata di 1000 punti.

Perché la retta passa per il centro $(\bar x, \bar y)$? Scrivi una retta qualsiasi come $y = h + b(x - \bar x)$, dove $h$ è la sua altezza in $\bar x$. I suoi residui sommano a $n(\bar y - h)$, e la somma dei quadrati si divide in due parti:

Qui $S_{xx}$, $S_{yy}$ e $S_{xy}$ sono le somme dei quadrati e dei prodotti degli scarti dalle medie. La prima parte dipende solo dall’altezza e la seconda solo dalla pendenza; quindi, per qualsiasi pendenza, l’altezza migliore è $\bar y$: la retta migliore passa per il centro e i suoi residui sommano a 0. Ruotandola attorno al centro, la somma segue la parabola $P(b)$. Quando i valori di $x$ non sono tutti uguali, il suo unico minimo si trova in $b = S_{xy}/S_{xx}$.

Che cosa misura $R^2$? La retta orizzontale $y = \bar y$ corrisponde al punto della parabola con pendenza 0, e la somma dei suoi quadrati è la variabilità totale $\mathrm{SST} = S_{yy}$. La retta adattata lascia $\mathrm{SSE}$; quando i valori di $y$ variano, $R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$ è la quota della variabilità di $y$ che spiega. Quando entrambe le coordinate variano, $R^2 = r^2$: una correlazione di 0.5 spiega quindi solo un quarto. Spiegare significa adattare, non causare.

Perché la retta è meno inclinata della nuvola? In unità standardizzate le sue previsioni sono $\hat z_y = r\,z_x$, quindi, quando $|r| < 1$, un punto lontano da $\bar x$ riceve una previsione distante da $\bar y$ meno deviazioni standard di quante lo separino da $\bar x$. In una nuvola ovale come quella simulata, la retta delle deviazioni standard, di pendenza $\pm s_y/s_x$, segue la direzione apparente della nuvola; la retta di regressione è meno inclinata. Nulla tira indietro i dati: l’effetto vale per qualsiasi insieme di questo tipo. Prevedere $x$ da $y$ lo mostra nel verso opposto, con una seconda retta per il centro, più ripida sul grafico. In una nuvola così, le medie di $y$ in fasce strette di $x$ mostrano l’effetto: sono vicine alla retta di regressione, ma non esattamente su di essa. Il nome viene dallo studio sulle stature di Francis Galton del 1886: i figli di genitori molto alti o molto bassi erano in media meno estremi.

Quando può ingannare la retta? Alzare un punto di 1 aumenta il suo valore stimato del suo leverage $h = 1/n + (x - \bar x)^2/S_{xx}$, che cresce con la distanza da $\bar x$. Un punto isolato molto lontano in $x$ può avere leverage vicino a 1: la retta lo segue. Anche se non concorda con nessuno degli altri punti, il suo residuo può sembrare piccolo; persino in una grande nuvola, un punto così può ruotare la retta. E $r$ può essere vicino a 1 mentre i residui sono positivi alle due estremità e negativi al centro: una curva che nessuna retta può seguire.