Линейная алгебра · Метод главных компонент

Метод главных компонент

Метод главных компонент находит направления наибольшего разброса данных. Для двух переменных первое направление — единичный вектор, максимизирующий дисперсию проекций. Это собственный вектор ковариационной матрицы, соответствующий её наибольшему собственному значению. Оно равно максимальной дисперсии. Первая главная ось проходит через среднее в этом направлении.

Метод главных компонент на этом рисунке

Проведите прямую через среднее облака и спроецируйте на неё каждую точку. Для направления uu выборочная дисперсия проекций равна uTCuu^{\mathsf T} C u. В выборочной ковариационной матрице C=(sx2sxysxysy2)C = \begin{pmatrix} s_x^2 & s_{xy} \\ s_{xy} & s_y^2 \end{pmatrix} на диагонали стоят две дисперсии, вне её — ковариация (суммы делятся на n−1n - 1). Метод главных компонент выбирает направление максимальной дисперсии. Прямая через среднее в этом направлении — PC1, а PC2 ей перпендикулярна. Красным показана uu, жёлтыми штрихами — проекции. Толстая жёлтая полоса отмеряет по одному стандартному отклонению от среднего в обе стороны.

Сумма продольной и поперечной дисперсий постоянна

По теореме Пифагора квадрат расстояния до среднего раскладывается на квадраты составляющих вдоль uu и поперёк. После суммирования дисперсия вдоль uu плюс дисперсия поперёк равна полной дисперсии sx2+sy2=tr⁡Cs_x^2 + s_y^2 = \operatorname{tr} C независимо от направления uu. Максимизируя первую, мы минимизируем вторую: среди прямых через среднее PC1 минимизирует сумму квадратов перпендикулярных расстояний. Прямая регрессии yy по xx минимизирует сумму квадратов вертикальных остатков. В рассеянном облаке эти прямые могут заметно различаться.

Почему решением служит собственный вектор

У симметричной матрицы CC есть два перпендикулярных собственных вектора с собственными значениями λ1≥λ2\lambda_1 \ge \lambda_2. Если разложить uu по ним, то uTCuu^{\mathsf T} C u — взвешенное среднее λ1\lambda_1 и λ2\lambda_2, максимальное на первом векторе и минимальное на втором. Поэтому PC1 и PC2 — собственные направления CC. Их дисперсии равны λ1\lambda_1 и λ2\lambda_2, а доля PC1 в общей дисперсии равна λ1/(λ1+λ2)\lambda_1/(\lambda_1 + \lambda_2). На практике те же направления получают из сингулярного разложения центрированной матрицы данных.

Единицы меняют ответ

Дисперсии зависят от единиц. Если измерять рост в метрах и вес в килограммах, значения веса численно меняются сильнее. Уже поэтому PC1 почти ложится на ось веса. При разных единицах переменные обычно стандартизируют: вычитают среднее и делят на стандартное отклонение. Тогда CC становится корреляционной матрицей (1rr1)\begin{pmatrix} 1 & r \\ r & 1 \end{pmatrix}. Для двух переменных PC1 направлена под 45° (под −45° при r<0r < 0), при этом λ=1±∣r∣\lambda = 1 \pm |r|. При r=0r = 0 выделенного направления нет.

На что обратить внимание

  • Главная ось — прямая. Её направление определено с точностью до знака.
  • Для многих переменных несколько направлений могут вместить основную часть дисперсии. Тогда данные можно описать меньшим числом величин.

Управление

  • Перетаскивайте красную ручку или вращайте регулятор. Когда ручка в фокусе, стрелки поворачивают прямую на 1°.

Связанные темы