Análisis de componentes principales en esta visualización
Traza una recta por la media y proyecta cada punto sobre ella. La varianza muestral de las proyecciones depende de la dirección y vale . En la matriz de covarianzas muestral , las varianzas están en la diagonal y la covarianza fuera de ella (las sumas se dividen por ). El análisis de componentes principales elige la dirección de mayor varianza. La recta por la media en esa dirección es PC1 y PC2 es perpendicular. En rojo se ve , en amarillo las proyecciones y, con una barra gruesa, una desviación estándar a cada lado de su media.
La suma de las varianzas paralela y perpendicular es constante
Por Pitágoras, la distancia cuadrática de cada punto a la media se descompone en las partes paralela y perpendicular a . Al sumar, la varianza paralela a más la perpendicular da la varianza total para cualquier orientación de . Maximizar la primera minimiza la segunda: entre las rectas por la media, PC1 minimiza la suma de distancias perpendiculares al cuadrado. La recta de regresión de sobre minimiza otra cantidad, la suma de residuos verticales al cuadrado. En una nube dispersa las rectas pueden diferir mucho.
Por qué la solución es un vector propio
La matriz simétrica tiene dos vectores propios perpendiculares con valores propios . Expresando en esa base, es una media ponderada de y , máxima en el primer vector y mínima en el segundo. PC1 y PC2 son las direcciones propias de , con varianzas y . PC1 conserva la fracción del total. En la práctica se obtienen las mismas direcciones mediante la descomposición en valores singulares de la matriz de datos centrados.
Las unidades cambian el resultado
La varianza depende de las unidades. Con estaturas en metros y pesos en kilogramos, el peso varía mucho más numéricamente y basta eso para que PC1 casi siga su eje. Si las unidades difieren, suele estandarizarse cada variable restando su media y dividiendo por su desviación estándar. Entonces pasa a ser la matriz de correlación . Con dos variables, PC1 está a 45° (−45° si ) y . Si , ninguna dirección destaca.
En qué fijarse
- Un eje principal es una recta: el signo de su dirección es arbitrario.
- Con muchas variables, unas pocas direcciones pueden conservar casi toda la varianza y describir los datos con menos números.
Controles
- Arrastra el control rojo o gira el mando para orientar la recta. Sobre el control, las flechas la giran 1°.