선형대수 · 주성분 분석

주성분 분석

주성분 분석은 자료가 가장 넓게 퍼진 방향을 찾는다. 변수가 둘이면 제1주성분 방향은 사영의 분산을 최대화하는 단위 방향이다. 공분산행렬의 가장 큰 고윳값에 대응하는 고유벡터이며, 그 고윳값이 최대 분산이다. 제1주성분 축은 이 방향으로 평균을 지나는 직선이다.

그림으로 보는 주성분 분석

점구름의 평균을 지나는 직선에 모든 점을 사영한다. 방향 uu에 따라 사영의 표본분산은 uTCuu^{\mathsf T} C u이다. 표본공분산행렬 C=(sx2sxysxysy2)C = \begin{pmatrix} s_x^2 & s_{xy} \\ s_{xy} & s_y^2 \end{pmatrix}의 대각선에는 두 분산, 나머지 자리에는 공분산이 들어간다(합을 n−1n - 1로 나눈다). 주성분 분석은 이 분산이 최대인 방향을 첫 주축 방향으로 택한다. 평균을 지나 그 방향으로 뻗는 직선이 PC1이고 PC2는 그에 수직이다. 빨간 선은 uu, 노란 눈금은 사영, 굵은 노란 막대는 사영의 평균 양쪽으로 표준편차 하나씩을 나타낸다.

평행 방향과 수직 방향 분산의 합은 일정하다

피타고라스 정리에 따라 각 점에서 평균까지 거리의 제곱은 uu에 평행한 성분과 수직인 성분의 제곱합이다. 모든 점에 대해 더하면 uu 방향의 분산과 그 수직 방향 분산의 합은 uu의 방향에 관계없이 전체 분산 sx2+sy2=tr⁡Cs_x^2 + s_y^2 = \operatorname{tr} C가 된다. 평행 방향 분산이 최대일 때 수직 방향 분산은 최소다. 평균을 지나는 직선 중 PC1은 수직거리 제곱합을 최소화한다. 반면 xx에 대한 yy의 회귀직선은 세로 방향 잔차 제곱합을 최소화한다. 점이 흩어져 있으면 두 방향이 크게 다를 수 있다.

답이 고유벡터인 이유

대칭행렬 CC에는 직교하는 두 고유벡터가 있고 고윳값은 λ1≥λ2\lambda_1 \ge \lambda_2이다. uu를 이 벡터들로 나타내면 uTCuu^{\mathsf T} C u는 λ1\lambda_1과 λ2\lambda_2의 가중평균으로, 첫째 고유벡터에서 최대, 둘째에서 최소다. 따라서 PC1과 PC2는 CC의 고유방향이고 분산은 각각 λ1\lambda_1와 λ2\lambda_2이며 PC1의 설명 비율은 λ1/(λ1+λ2)\lambda_1/(\lambda_1 + \lambda_2)이다. 실제로는 중심화한 자료 행렬의 특잇값 분해로 같은 방향을 구하기도 한다.

단위가 결과를 바꾼다

분산은 단위에 의존한다. 키를 미터, 몸무게를 킬로그램으로 측정하면 몸무게 수치가 더 넓게 퍼져 그 이유만으로 PC1이 거의 몸무게 축에 놓인다. 단위가 다르면 흔히 각 변수에서 평균을 빼고 표준편차로 나누어 표준화한다. 그러면 CC은 상관행렬 (1rr1)\begin{pmatrix} 1 & r \\ r & 1 \end{pmatrix}이 된다. 변수가 둘이면 PC1은 45°(r<0r < 0이면 −45°)이며 λ=1±∣r∣\lambda = 1 \pm |r|이다. r=0r = 0이면 어느 방향도 두드러지지 않는다.

살펴볼 점

  • 주성분 축은 직선이므로 그 방향은 부호를 제외하고 정해진다.
  • 변수가 많아도 같은 방법으로 분산의 대부분을 담는 몇 방향을 찾아 더 적은 수의 값으로 자료를 나타낼 수 있다.

조작 방법

  • 빨간 손잡이를 끌거나 다이얼을 돌려 직선을 회전시키세요. 손잡이에 초점을 두면 방향키로 1°씩 돌릴 수 있습니다.

관련 개념