Lineare Algebra · Hauptkomponentenanalyse

Hauptkomponentenanalyse

Die Hauptkomponentenanalyse ermittelt die Richtungen der größten Streuung einer Punktwolke. Bei zwei Variablen maximiert die erste Hauptrichtung die Varianz der Projektionen. Sie ist ein Einheitsvektor zum größten Eigenwert der Kovarianzmatrix. Dieser Eigenwert gibt die maximale Varianz an. Die erste Hauptachse verläuft in dieser Richtung durch den Mittelwert.

Hauptkomponentenanalyse in dieser Darstellung

Lege eine Gerade durch den Mittelwert und projiziere alle Datenpunkte darauf. Die Stichprobenvarianz der Projektionen hängt von der Richtung uu ab und ist uTCuu^{\mathsf T} C u. In der Stichprobenkovarianzmatrix C=(sx2sxysxysy2)C = \begin{pmatrix} s_x^2 & s_{xy} \\ s_{xy} & s_y^2 \end{pmatrix} stehen die beiden Varianzen auf der Diagonalen und die Kovarianz daneben. Die Summen werden durch n−1n - 1 geteilt. Die Hauptkomponentenanalyse wählt die Richtung maximaler Varianz als erste Hauptrichtung. Die Gerade in dieser Richtung durch den Mittelwert ist PC1, PC2 liegt senkrecht dazu. Rot ist uu, gelb sind die Projektionen. Der dicke gelbe Balken reicht vom Mittelwert je eine Standardabweichung nach beiden Seiten.

Längs und quer bleibt die Summe gleich

Nach Pythagoras zerfällt der quadrierte Abstand jedes Punkts vom Mittelwert in einen Anteil längs uu und einen senkrecht dazu. Summiert über alle Punkte ergibt die Varianz längs uu plus die Varianz quer dazu stets die Gesamtvarianz sx2+sy2=tr⁡Cs_x^2 + s_y^2 = \operatorname{tr} C, unabhängig von der Richtung uu. Die größte Streuung längs lässt die geringste Streuung quer übrig. Unter allen Geraden durch den Mittelwert minimiert PC1 die Summe der quadrierten senkrechten Abstände. Die Regressionsgerade von yy auf xx minimiert dagegen die Summe der quadrierten vertikalen Abweichungen. In einer lockeren Punktwolke können die Richtungen deutlich auseinanderliegen.

Weshalb ein Eigenvektor die Lösung ist

Die symmetrische Matrix CC hat zwei senkrechte Eigenvektoren mit Eigenwerten λ1≥λ2\lambda_1 \ge \lambda_2. Drückt man uu in dieser Basis aus, ist uTCuu^{\mathsf T} C u ein gewichteter Mittelwert aus λ1\lambda_1 und λ2\lambda_2, maximal am ersten und minimal am zweiten Eigenvektor. PC1 und PC2 sind also die Eigenrichtungen von CC. Ihre Varianzen sind λ1\lambda_1 und λ2\lambda_2. PC1 erklärt den Anteil λ1/(λ1+λ2)\lambda_1/(\lambda_1 + \lambda_2) der Gesamtvarianz. In der Praxis liefert auch die Singulärwertzerlegung der zentrierten Datenmatrix diese Richtungen.

Wie Einheiten das Ergebnis ändern

Varianzen hängen von den Einheiten ab. In Metern streuen die Körpergrößen zahlenmäßig viel weniger als die Gewichte in Kilogramm. Allein deshalb liegt PC1 fast auf der Gewichtsachse. Bei unterschiedlichen Einheiten standardisiert man üblicherweise beide Variablen: Mittelwert abziehen und durch die Standardabweichung teilen. Dann wird CC zur Korrelationsmatrix (1rr1)\begin{pmatrix} 1 & r \\ r & 1 \end{pmatrix}. Bei zwei Variablen liegt PC1 bei 45° (bei r<0r < 0 bei −45°), und es gilt λ=1±∣r∣\lambda = 1 \pm |r|. Bei r=0r = 0 ist keine Richtung ausgezeichnet.

Worauf du achten kannst

  • Eine Hauptachse ist eine Gerade. Ihre Richtung ist nur bis auf das Vorzeichen festgelegt.
  • Auch bei vielen Variablen kann ein kleiner Satz von Richtungen einen Großteil der Varianz erfassen. Die Daten lassen sich dann mit weniger Zahlen beschreiben.

Bedienung

  • Ziehe den roten Griff oder drehe den Regler, um die Gerade zu drehen. Am fokussierten Griff drehen die Pfeiltasten um 1°.

Verwandte Themen