Algebra lineare · Analisi delle componenti principali

Analisi delle componenti principali

L’analisi delle componenti principali individua le direzioni di maggiore dispersione. Per due variabili, la prima è la direzione unitaria lungo cui le proiezioni hanno varianza massima: un autovettore della matrice di covarianza associato all’autovalore massimo, pari a quella varianza. Il primo asse principale passa per la media in tale direzione.

Analisi delle componenti principali in questa visualizzazione

Traccia una retta per la media dei dati e proietta ogni punto su di essa. Nella direzione uu la varianza campionaria delle proiezioni vale uTCuu^{\mathsf T} C u. La matrice di covarianza campionaria C=(sx2sxysxysy2)C = \begin{pmatrix} s_x^2 & s_{xy} \\ s_{xy} & s_y^2 \end{pmatrix} contiene le varianze sulla diagonale e la covarianza fuori diagonale (si dividono le somme per n−1n - 1). L’analisi delle componenti principali sceglie la direzione di varianza massima. La retta per la media in tale direzione è PC1; PC2 è perpendicolare. In rosso si vede uu, in giallo le proiezioni. La barra spessa indica una deviazione standard per lato rispetto alla media.

La somma delle varianze parallela e perpendicolare è costante

Per Pitagora, la distanza al quadrato di ogni punto dalla media si scompone nelle parti parallela e perpendicolare a uu. Sommando, la varianza lungo uu più quella perpendicolare dà sempre la varianza totale sx2+sy2=tr⁡Cs_x^2 + s_y^2 = \operatorname{tr} C, qualunque sia la direzione di uu. Massimizzare la prima significa minimizzare la seconda. Tra le rette per la media PC1 minimizza quindi la somma dei quadrati delle distanze ortogonali. La retta di regressione di yy su xx minimizza invece i quadrati dei residui verticali. Per una nuvola dispersa le due rette possono differire molto.

Perché la soluzione è un autovettore

La matrice simmetrica CC ammette due autovettori ortogonali con autovalori λ1≥λ2\lambda_1 \ge \lambda_2. Scrivendo uu in questa base, uTCuu^{\mathsf T} C u è una media pesata di λ1\lambda_1 e λ2\lambda_2, massima sul primo autovettore e minima sul secondo. PC1 e PC2 sono quindi le direzioni proprie di CC, con varianze λ1\lambda_1 e λ2\lambda_2. PC1 conserva la quota λ1/(λ1+λ2)\lambda_1/(\lambda_1 + \lambda_2) del totale. In pratica le stesse direzioni si ottengono dalla decomposizione ai valori singolari della matrice dei dati centrati.

Le unità cambiano il risultato

Le varianze dipendono dalle unità. Misurando la statura in metri e il peso in chilogrammi, i pesi variano molto di più numericamente: questo basta a portare PC1 quasi sull’asse del peso. Con unità diverse in genere si standardizza ogni variabile sottraendo la media e dividendo per la deviazione standard. Allora CC diventa la matrice di correlazione (1rr1)\begin{pmatrix} 1 & r \\ r & 1 \end{pmatrix}. Con due variabili PC1 si orienta a 45° (a −45° se r<0r < 0), con λ=1±∣r∣\lambda = 1 \pm |r|. Se r=0r = 0 nessuna direzione prevale.

Cosa osservare

  • Un asse principale è una retta: la sua direzione è determinata a meno del segno.
  • Con molte variabili, poche direzioni possono raccogliere gran parte della varianza e descrivere i dati con meno numeri.

Comandi

  • Trascina la maniglia rossa o gira la manopola per orientare la retta. Con il focus sulla maniglia le frecce la ruotano di 1°.

Concetti collegati