Algèbre linéaire · Analyse en composantes principales

Analyse en composantes principales

L’analyse en composantes principales recherche les directions de plus grande dispersion. Avec deux variables, la première est la direction unitaire qui maximise la variance projetée : un vecteur propre de la matrice de covariance associé à sa plus grande valeur propre. Cette valeur est la variance maximale. Le premier axe principal passe par la moyenne dans cette direction.

Analyse en composantes principales sur ce graphique

Par la moyenne du nuage, tracez une droite et projetez-y chaque point. Pour la direction uu, la variance d’échantillon des projections vaut uTCuu^{\mathsf T} C u. La matrice de covariance d’échantillon C=(sx2sxysxysy2)C = \begin{pmatrix} s_x^2 & s_{xy} \\ s_{xy} & s_y^2 \end{pmatrix} contient les deux variances sur la diagonale et la covariance ailleurs (les sommes sont divisées par n−1n - 1). L’analyse en composantes principales retient la direction de variance maximale. La droite passant par la moyenne dans cette direction est PC1, et PC2 lui est perpendiculaire. La droite rouge est uu, les marques jaunes sont les projections et la barre épaisse s’étend d’un écart-type de chaque côté de leur moyenne.

La somme des variances parallèle et perpendiculaire reste constante

Par Pythagore, le carré de la distance d’un point à la moyenne se décompose selon uu et sa perpendiculaire. En sommant, la variance le long de uu plus celle dans la direction perpendiculaire égale la variance totale sx2+sy2=tr⁡Cs_x^2 + s_y^2 = \operatorname{tr} C, quelle que soit l’orientation de uu. Maximiser la première revient à minimiser la seconde. Parmi les droites passant par la moyenne, PC1 minimise donc la somme des carrés des distances orthogonales. La droite de régression de yy sur xx minimise les carrés des résidus verticaux. Dans un nuage dispersé, les deux droites peuvent être très différentes.

Pourquoi la solution est un vecteur propre

La matrice symétrique CC admet deux vecteurs propres orthogonaux de valeurs propres λ1≥λ2\lambda_1 \ge \lambda_2. En exprimant uu dans cette base, uTCuu^{\mathsf T} C u est une moyenne pondérée de λ1\lambda_1 et λ2\lambda_2, maximale sur le premier vecteur et minimale sur le second. PC1 et PC2 suivent les directions propres de CC, leurs variances sont λ1\lambda_1 et λ2\lambda_2, et PC1 conserve la fraction λ1/(λ1+λ2)\lambda_1/(\lambda_1 + \lambda_2) du total. En pratique, la décomposition en valeurs singulières de la matrice des données centrées fournit les mêmes directions.

Les unités changent le résultat

Les variances dépendent des unités. Avec les tailles en mètres et les poids en kilogrammes, les valeurs des poids varient bien davantage : cela suffit à placer PC1 presque sur l’axe du poids. Pour des unités différentes, on centre et réduit généralement chaque variable en soustrayant sa moyenne et en divisant par son écart-type. Alors CC devient la matrice de corrélation (1rr1)\begin{pmatrix} 1 & r \\ r & 1 \end{pmatrix}. À deux variables, PC1 est à 45° (−45° si r<0r < 0), avec λ=1±∣r∣\lambda = 1 \pm |r|. Si r=0r = 0, aucune direction ne se distingue.

À observer

  • Un axe principal est une droite : sa direction est définie au signe près.
  • Avec de nombreuses variables, quelques directions peuvent porter l’essentiel de la variance et permettre de décrire les données avec moins de nombres.

Commandes

  • Faites glisser la poignée rouge ou tournez le cadran. Sur la poignée, les flèches font tourner la droite de 1°.

Voir aussi