Hauptkomponentenanalyse in dieser Darstellung
Lege eine Gerade durch den Mittelwert und projiziere alle Datenpunkte darauf. Die Stichprobenvarianz der Projektionen hängt von der Richtung ab und ist . In der Stichprobenkovarianzmatrix stehen die beiden Varianzen auf der Diagonalen und die Kovarianz daneben. Die Summen werden durch geteilt. Die Hauptkomponentenanalyse wählt die Richtung maximaler Varianz als erste Hauptrichtung. Die Gerade in dieser Richtung durch den Mittelwert ist PC1, PC2 liegt senkrecht dazu. Rot ist , gelb sind die Projektionen. Der dicke gelbe Balken reicht vom Mittelwert je eine Standardabweichung nach beiden Seiten.
Längs und quer bleibt die Summe gleich
Nach Pythagoras zerfällt der quadrierte Abstand jedes Punkts vom Mittelwert in einen Anteil längs und einen senkrecht dazu. Summiert über alle Punkte ergibt die Varianz längs plus die Varianz quer dazu stets die Gesamtvarianz , unabhängig von der Richtung . Die größte Streuung längs lässt die geringste Streuung quer übrig. Unter allen Geraden durch den Mittelwert minimiert PC1 die Summe der quadrierten senkrechten Abstände. Die Regressionsgerade von auf minimiert dagegen die Summe der quadrierten vertikalen Abweichungen. In einer lockeren Punktwolke können die Richtungen deutlich auseinanderliegen.
Weshalb ein Eigenvektor die Lösung ist
Die symmetrische Matrix hat zwei senkrechte Eigenvektoren mit Eigenwerten . Drückt man in dieser Basis aus, ist ein gewichteter Mittelwert aus und , maximal am ersten und minimal am zweiten Eigenvektor. PC1 und PC2 sind also die Eigenrichtungen von . Ihre Varianzen sind und . PC1 erklärt den Anteil der Gesamtvarianz. In der Praxis liefert auch die Singulärwertzerlegung der zentrierten Datenmatrix diese Richtungen.
Wie Einheiten das Ergebnis ändern
Varianzen hängen von den Einheiten ab. In Metern streuen die Körpergrößen zahlenmäßig viel weniger als die Gewichte in Kilogramm. Allein deshalb liegt PC1 fast auf der Gewichtsachse. Bei unterschiedlichen Einheiten standardisiert man üblicherweise beide Variablen: Mittelwert abziehen und durch die Standardabweichung teilen. Dann wird zur Korrelationsmatrix . Bei zwei Variablen liegt PC1 bei 45° (bei bei −45°), und es gilt . Bei ist keine Richtung ausgezeichnet.
Worauf du achten kannst
- Eine Hauptachse ist eine Gerade. Ihre Richtung ist nur bis auf das Vorzeichen festgelegt.
- Auch bei vielen Variablen kann ein kleiner Satz von Richtungen einen Großteil der Varianz erfassen. Die Daten lassen sich dann mit weniger Zahlen beschreiben.
Bedienung
- Ziehe den roten Griff oder drehe den Regler, um die Gerade zu drehen. Am fokussierten Griff drehen die Pfeiltasten um 1°.
Verwandte Themen
Weiterführende Literatur: Wikipedia: Principal component analysis (Englisch).