Analyse en composantes principales sur ce graphique
Par la moyenne du nuage, tracez une droite et projetez-y chaque point. Pour la direction , la variance d’échantillon des projections vaut . La matrice de covariance d’échantillon contient les deux variances sur la diagonale et la covariance ailleurs (les sommes sont divisées par ). L’analyse en composantes principales retient la direction de variance maximale. La droite passant par la moyenne dans cette direction est PC1, et PC2 lui est perpendiculaire. La droite rouge est , les marques jaunes sont les projections et la barre épaisse s’étend d’un écart-type de chaque côté de leur moyenne.
La somme des variances parallèle et perpendiculaire reste constante
Par Pythagore, le carré de la distance d’un point à la moyenne se décompose selon et sa perpendiculaire. En sommant, la variance le long de plus celle dans la direction perpendiculaire égale la variance totale , quelle que soit l’orientation de . Maximiser la première revient à minimiser la seconde. Parmi les droites passant par la moyenne, PC1 minimise donc la somme des carrés des distances orthogonales. La droite de régression de sur minimise les carrés des résidus verticaux. Dans un nuage dispersé, les deux droites peuvent être très différentes.
Pourquoi la solution est un vecteur propre
La matrice symétrique admet deux vecteurs propres orthogonaux de valeurs propres . En exprimant dans cette base, est une moyenne pondérée de et , maximale sur le premier vecteur et minimale sur le second. PC1 et PC2 suivent les directions propres de , leurs variances sont et , et PC1 conserve la fraction du total. En pratique, la décomposition en valeurs singulières de la matrice des données centrées fournit les mêmes directions.
Les unités changent le résultat
Les variances dépendent des unités. Avec les tailles en mètres et les poids en kilogrammes, les valeurs des poids varient bien davantage : cela suffit à placer PC1 presque sur l’axe du poids. Pour des unités différentes, on centre et réduit généralement chaque variable en soustrayant sa moyenne et en divisant par son écart-type. Alors devient la matrice de corrélation . À deux variables, PC1 est à 45° (−45° si ), avec . Si , aucune direction ne se distingue.
À observer
- Un axe principal est une droite : sa direction est définie au signe près.
- Avec de nombreuses variables, quelques directions peuvent porter l’essentiel de la variance et permettre de décrire les données avec moins de nombres.
Commandes
- Faites glisser la poignée rouge ou tournez le cadran. Sur la poignée, les flèches font tourner la droite de 1°.
Voir aussi
Pour aller plus loin: Wikipédia: Principal component analysis (Anglais).