Correlazione

Il coefficiente di correlazione $r$ di dati appaiati, detto anche coefficiente di Pearson, misura quanto i punti seguono una stessa retta. Va da −1 a 1 ed è positivo quando $x$ e $y$ tendono a crescere insieme. Qui ogni punto e il centro dei dati delimitano un rettangolo con lati misurati in deviazioni standard; $r$ è la somma delle aree con segno divisa per $n-1$. Puoi trascinare, aggiungere ed eliminare punti, caricare i quattro insiemi di Anscombe o una nuvola costruita con un $r$ scelto e vedere i quadrati che mantengono $r$ tra −1 e 1.

Che cosa misura $r$? In unità standard, $z_x$ indica quante deviazioni standard un punto si trova a destra della media di $x$, e $z_y$ quante si trova sopra la media di $y$. Il rettangolo tra il punto e il centro ha area $|z_x z_y|$. Conta come positiva in alto a destra e in basso a sinistra, dove le due coordinate sono dallo stesso lato delle rispettive medie, e come negativa negli altri due angoli. Poiché i lati sono in deviazioni standard, cambiare unità o scambiare $x$ e $y$ lascia $r$ invariato. Anche il grafico segue questa regola: una deviazione standard ha la stessa lunghezza sui due assi. Il riquadro tratteggiato è quindi un quadrato e il suo quarto in alto a destra vale un’unità di area.

Perché $r$ non può mai superare i limiti ±1? Traccia la retta $z_y = z_x$ per il centro. Il quadrato della distanza di un punto dalla retta è $(z_y - z_x)^2/2$. La somma di questi quadrati, divisa per $n-1$, dà esattamente $1 - r$, perché i $z_x^2$ e i $z_y^2$ sommano ciascuno a $n-1$. Per l’altra diagonale, $z_y = -z_x$, lo stesso calcolo dà $1 + r$. I quadrati non sono mai negativi, quindi $-1 \le r \le 1$. E $r = 1$ soltanto quando tutti i quadrati delle distanze da $z_y = z_x$ si annullano: tutti i punti giacciono su una stessa retta crescente.

Perché figure molto diverse possono dare lo stesso $r$? $r$ somma i rettangoli senza guardare la forma. Nel 1973 lo statistico Francis Anscombe costruì quattro insiemi con $r$, medie e retta adattata quasi identici: uno è una fascia rettilinea, uno una curva liscia, uno segue quasi una retta salvo un punto anomalo e nell’ultimo un solo punto contribuisce alla maggior parte della somma con segno. Un rettangolo cresce con il prodotto delle due distanze del punto dal centro, quindi un punto lontano può fornire gran parte dell’area totale. Persino punti esattamente su una parabola possono dare $r = 0$ se disposti simmetricamente: ogni rettangolo da un lato viene annullato dal suo riflesso dall’altro. $r$ misura soltanto l’associazione lineare.

Perché guardare in unità standard? L’occhio giudica la correlazione da quanto appare sottile la nuvola, e ciò dipende dagli assi: allungarne uno fa sembrare gli stessi punti più affusolati o più tondi. Negli esperimenti di Cleveland, Diaconis e McGill (1982), le persone giudicavano più correlati gli stessi diagrammi quando gli intervalli degli assi venivano ampliati intorno a essi. Le unità standard rendono confrontabili i due assi: una deviazione standard ha la stessa lunghezza su entrambi. In questa immagine, la dispersione perpendicolare alle due diagonali è proprio ciò che misura $r$. Non rendono però affidabile l’occhio: rimpicciolita, la stessa nuvola sembra ancora più compatta.