Метод главных компонент на этом рисунке
Проведите прямую через среднее облака и спроецируйте на неё каждую точку. Для направления выборочная дисперсия проекций равна . В выборочной ковариационной матрице на диагонали стоят две дисперсии, вне её — ковариация (суммы делятся на ). Метод главных компонент выбирает направление максимальной дисперсии. Прямая через среднее в этом направлении — PC1, а PC2 ей перпендикулярна. Красным показана , жёлтыми штрихами — проекции. Толстая жёлтая полоса отмеряет по одному стандартному отклонению от среднего в обе стороны.
Сумма продольной и поперечной дисперсий постоянна
По теореме Пифагора квадрат расстояния до среднего раскладывается на квадраты составляющих вдоль и поперёк. После суммирования дисперсия вдоль плюс дисперсия поперёк равна полной дисперсии независимо от направления . Максимизируя первую, мы минимизируем вторую: среди прямых через среднее PC1 минимизирует сумму квадратов перпендикулярных расстояний. Прямая регрессии по минимизирует сумму квадратов вертикальных остатков. В рассеянном облаке эти прямые могут заметно различаться.
Почему решением служит собственный вектор
У симметричной матрицы есть два перпендикулярных собственных вектора с собственными значениями . Если разложить по ним, то — взвешенное среднее и , максимальное на первом векторе и минимальное на втором. Поэтому PC1 и PC2 — собственные направления . Их дисперсии равны и , а доля PC1 в общей дисперсии равна . На практике те же направления получают из сингулярного разложения центрированной матрицы данных.
Единицы меняют ответ
Дисперсии зависят от единиц. Если измерять рост в метрах и вес в килограммах, значения веса численно меняются сильнее. Уже поэтому PC1 почти ложится на ось веса. При разных единицах переменные обычно стандартизируют: вычитают среднее и делят на стандартное отклонение. Тогда становится корреляционной матрицей . Для двух переменных PC1 направлена под 45° (под −45° при ), при этом . При выделенного направления нет.
На что обратить внимание
- Главная ось — прямая. Её направление определено с точностью до знака.
- Для многих переменных несколько направлений могут вместить основную часть дисперсии. Тогда данные можно описать меньшим числом величин.
Управление
- Перетаскивайте красную ручку или вращайте регулятор. Когда ручка в фокусе, стрелки поворачивают прямую на 1°.
Связанные темы
Дополнительные материалы: Википедия: Principal component analysis (Английский).