Álgebra lineal · Análisis de componentes principales

Análisis de componentes principales

El análisis de componentes principales busca las direcciones de mayor dispersión de los datos. Con dos variables, la primera es la dirección unitaria que maximiza la varianza proyectada: un vector propio de la matriz de covarianzas asociado al mayor valor propio. Ese valor es la varianza máxima. El primer eje principal pasa por la media en esa dirección.

Análisis de componentes principales en esta visualización

Traza una recta por la media y proyecta cada punto sobre ella. La varianza muestral de las proyecciones depende de la dirección uu y vale uTCuu^{\mathsf T} C u. En la matriz de covarianzas muestral C=(sx2sxysxysy2)C = \begin{pmatrix} s_x^2 & s_{xy} \\ s_{xy} & s_y^2 \end{pmatrix}, las varianzas están en la diagonal y la covarianza fuera de ella (las sumas se dividen por n−1n - 1). El análisis de componentes principales elige la dirección de mayor varianza. La recta por la media en esa dirección es PC1 y PC2 es perpendicular. En rojo se ve uu, en amarillo las proyecciones y, con una barra gruesa, una desviación estándar a cada lado de su media.

La suma de las varianzas paralela y perpendicular es constante

Por Pitágoras, la distancia cuadrática de cada punto a la media se descompone en las partes paralela y perpendicular a uu. Al sumar, la varianza paralela a uu más la perpendicular da la varianza total sx2+sy2=tr⁡Cs_x^2 + s_y^2 = \operatorname{tr} C para cualquier orientación de uu. Maximizar la primera minimiza la segunda: entre las rectas por la media, PC1 minimiza la suma de distancias perpendiculares al cuadrado. La recta de regresión de yy sobre xx minimiza otra cantidad, la suma de residuos verticales al cuadrado. En una nube dispersa las rectas pueden diferir mucho.

Por qué la solución es un vector propio

La matriz simétrica CC tiene dos vectores propios perpendiculares con valores propios λ1≥λ2\lambda_1 \ge \lambda_2. Expresando uu en esa base, uTCuu^{\mathsf T} C u es una media ponderada de λ1\lambda_1 y λ2\lambda_2, máxima en el primer vector y mínima en el segundo. PC1 y PC2 son las direcciones propias de CC, con varianzas λ1\lambda_1 y λ2\lambda_2. PC1 conserva la fracción λ1/(λ1+λ2)\lambda_1/(\lambda_1 + \lambda_2) del total. En la práctica se obtienen las mismas direcciones mediante la descomposición en valores singulares de la matriz de datos centrados.

Las unidades cambian el resultado

La varianza depende de las unidades. Con estaturas en metros y pesos en kilogramos, el peso varía mucho más numéricamente y basta eso para que PC1 casi siga su eje. Si las unidades difieren, suele estandarizarse cada variable restando su media y dividiendo por su desviación estándar. Entonces CC pasa a ser la matriz de correlación (1rr1)\begin{pmatrix} 1 & r \\ r & 1 \end{pmatrix}. Con dos variables, PC1 está a 45° (−45° si r<0r < 0) y λ=1±∣r∣\lambda = 1 \pm |r|. Si r=0r = 0, ninguna dirección destaca.

En qué fijarse

  • Un eje principal es una recta: el signo de su dirección es arbitrario.
  • Con muchas variables, unas pocas direcciones pueden conservar casi toda la varianza y describir los datos con menos números.

Controles

  • Arrastra el control rojo o gira el mando para orientar la recta. Sobre el control, las flechas la giran 1°.

Conceptos relacionados