Analisi delle componenti principali in questa visualizzazione
Traccia una retta per la media dei dati e proietta ogni punto su di essa. Nella direzione la varianza campionaria delle proiezioni vale . La matrice di covarianza campionaria contiene le varianze sulla diagonale e la covarianza fuori diagonale (si dividono le somme per ). L’analisi delle componenti principali sceglie la direzione di varianza massima. La retta per la media in tale direzione è PC1; PC2 è perpendicolare. In rosso si vede , in giallo le proiezioni. La barra spessa indica una deviazione standard per lato rispetto alla media.
La somma delle varianze parallela e perpendicolare è costante
Per Pitagora, la distanza al quadrato di ogni punto dalla media si scompone nelle parti parallela e perpendicolare a . Sommando, la varianza lungo più quella perpendicolare dà sempre la varianza totale , qualunque sia la direzione di . Massimizzare la prima significa minimizzare la seconda. Tra le rette per la media PC1 minimizza quindi la somma dei quadrati delle distanze ortogonali. La retta di regressione di su minimizza invece i quadrati dei residui verticali. Per una nuvola dispersa le due rette possono differire molto.
Perché la soluzione è un autovettore
La matrice simmetrica ammette due autovettori ortogonali con autovalori . Scrivendo in questa base, è una media pesata di e , massima sul primo autovettore e minima sul secondo. PC1 e PC2 sono quindi le direzioni proprie di , con varianze e . PC1 conserva la quota del totale. In pratica le stesse direzioni si ottengono dalla decomposizione ai valori singolari della matrice dei dati centrati.
Le unità cambiano il risultato
Le varianze dipendono dalle unità. Misurando la statura in metri e il peso in chilogrammi, i pesi variano molto di più numericamente: questo basta a portare PC1 quasi sull’asse del peso. Con unità diverse in genere si standardizza ogni variabile sottraendo la media e dividendo per la deviazione standard. Allora diventa la matrice di correlazione . Con due variabili PC1 si orienta a 45° (a −45° se ), con . Se nessuna direzione prevale.
Cosa osservare
- Un asse principale è una retta: la sua direzione è determinata a meno del segno.
- Con molte variabili, poche direzioni possono raccogliere gran parte della varianza e descrivere i dati con meno numeri.
Comandi
- Trascina la maniglia rossa o gira la manopola per orientare la retta. Con il focus sulla maniglia le frecce la ruotano di 1°.
Concetti collegati
Per approfondire: Wikipedia: Principal component analysis (Inglese).