Álgebra linear · Análise de componentes principais

Análise de componentes principais

A análise de componentes principais procura as direções de maior dispersão. Para duas variáveis, a primeira é a direção unitária que maximiza a variância projetada: um vetor próprio da matriz de covariâncias associado ao maior valor próprio. Este valor é a variância máxima. O primeiro eixo principal passa pela média nessa direção.

Análise de componentes principais nesta visualização

Trace uma reta pela média dos dados e projete nela cada ponto. Na direção uu, a variância amostral das projeções é uTCuu^{\mathsf T} C u. Na matriz de covariâncias amostrais C=(sx2sxysxysy2)C = \begin{pmatrix} s_x^2 & s_{xy} \\ s_{xy} & s_y^2 \end{pmatrix} figuram as variâncias na diagonal e a covariância fora dela (as somas dividem-se por n−1n - 1). A análise de componentes principais escolhe a direção que maximiza esta variância. A reta pela média nessa direção é PC1; PC2 é perpendicular. A vermelho está uu, a amarelo as projeções. A barra grossa estende-se um desvio padrão para cada lado da média.

A soma das variâncias paralela e perpendicular é constante

Por Pitágoras, o quadrado da distância de cada ponto à média reparte-se pelas componentes paralela e perpendicular a uu. Somando, a variância ao longo de uu mais a variância perpendicular dá a variância total sx2+sy2=tr⁡Cs_x^2 + s_y^2 = \operatorname{tr} C, independentemente da orientação de uu. Maximizar a primeira equivale a minimizar a segunda. Entre as retas pela média, PC1 minimiza a soma dos quadrados das distâncias perpendiculares. A reta de regressão de yy sobre xx minimiza a soma dos quadrados dos resíduos verticais. Numa nuvem dispersa, as duas retas podem diferir bastante.

Porque é que a solução é um vetor próprio

A matriz simétrica CC admite dois vetores próprios perpendiculares com valores próprios λ1≥λ2\lambda_1 \ge \lambda_2. Escrevendo uu nesta base, uTCuu^{\mathsf T} C u é uma média ponderada de λ1\lambda_1 e λ2\lambda_2, máxima no primeiro vetor e mínima no segundo. Assim, PC1 e PC2 seguem as direções próprias de CC, com variâncias λ1\lambda_1 e λ2\lambda_2, e PC1 conserva a fração λ1/(λ1+λ2)\lambda_1/(\lambda_1 + \lambda_2) do total. Na prática, a decomposição em valores singulares da matriz dos dados centrados fornece as mesmas direções.

As unidades alteram o resultado

As variâncias dependem das unidades. Com a altura em metros e o peso em quilogramas, o peso varia numericamente muito mais. Só isso faz PC1 quase coincidir com o eixo do peso. Com unidades diferentes, costuma padronizar-se cada variável: subtrai-se a média e divide-se pelo desvio padrão. Então CC passa a ser a matriz de correlação (1rr1)\begin{pmatrix} 1 & r \\ r & 1 \end{pmatrix}. Para duas variáveis, PC1 fica a 45° (−45° se r<0r < 0), com λ=1±∣r∣\lambda = 1 \pm |r|. Se r=0r = 0, nenhuma direção se destaca.

O que observar

  • Um eixo principal é uma reta: a sua direção só fica determinada a menos do sinal.
  • Com muitas variáveis, algumas direções podem reter a maior parte da variância e permitir descrever os dados com menos números.

Controlos

  • Arraste o controlo vermelho ou rode o seletor para orientar a reta. Quando o controlo tem o foco, as setas rodam a reta 1°.

Relacionados