그림으로 보는 주성분 분석
점구름의 평균을 지나는 직선에 모든 점을 사영한다. 방향 에 따라 사영의 표본분산은 이다. 표본공분산행렬 의 대각선에는 두 분산, 나머지 자리에는 공분산이 들어간다(합을 로 나눈다). 주성분 분석은 이 분산이 최대인 방향을 첫 주축 방향으로 택한다. 평균을 지나 그 방향으로 뻗는 직선이 PC1이고 PC2는 그에 수직이다. 빨간 선은 , 노란 눈금은 사영, 굵은 노란 막대는 사영의 평균 양쪽으로 표준편차 하나씩을 나타낸다.
평행 방향과 수직 방향 분산의 합은 일정하다
피타고라스 정리에 따라 각 점에서 평균까지 거리의 제곱은 에 평행한 성분과 수직인 성분의 제곱합이다. 모든 점에 대해 더하면 방향의 분산과 그 수직 방향 분산의 합은 의 방향에 관계없이 전체 분산 가 된다. 평행 방향 분산이 최대일 때 수직 방향 분산은 최소다. 평균을 지나는 직선 중 PC1은 수직거리 제곱합을 최소화한다. 반면 에 대한 의 회귀직선은 세로 방향 잔차 제곱합을 최소화한다. 점이 흩어져 있으면 두 방향이 크게 다를 수 있다.
답이 고유벡터인 이유
단위가 결과를 바꾼다
분산은 단위에 의존한다. 키를 미터, 몸무게를 킬로그램으로 측정하면 몸무게 수치가 더 넓게 퍼져 그 이유만으로 PC1이 거의 몸무게 축에 놓인다. 단위가 다르면 흔히 각 변수에서 평균을 빼고 표준편차로 나누어 표준화한다. 그러면 은 상관행렬 이 된다. 변수가 둘이면 PC1은 45°(이면 −45°)이며 이다. 이면 어느 방향도 두드러지지 않는다.
살펴볼 점
- 주성분 축은 직선이므로 그 방향은 부호를 제외하고 정해진다.
- 변수가 많아도 같은 방법으로 분산의 대부분을 담는 몇 방향을 찾아 더 적은 수의 값으로 자료를 나타낼 수 있다.
조작 방법
- 빨간 손잡이를 끌거나 다이얼을 돌려 직선을 회전시키세요. 손잡이에 초점을 두면 방향키로 1°씩 돌릴 수 있습니다.
관련 개념
더 읽어 보기: Wikipedia: Principal component analysis (영어).