Линейная алгебра · Сингулярное разложение

Сингулярное разложение

Вещественная матрица 2 × 2 записывается как A = UΣVᵀ: поворот или отражение Vᵀ, растяжение Σ вдоль осей с коэффициентами σ₁ ≥ σ₂ ≥ 0 и ещё один поворот или отражение U. Эти коэффициенты — сингулярные числа. Единичная окружность превращается в эллипс, оси которого получаются из двух перпендикулярных направлений.

Сингулярное разложение на этом рисунке

Линейное преобразование плоскости переводит единичную окружность в эллипс. Если AA вырождена, эллипс сжимается в отрезок или точку. Когда vv обходит окружность, длина ∣Av∣|Av| принимает наибольшее значение σ1\sigma_1 в направлении v1v_1 и наименьшее σ2\sigma_2 в перпендикулярном направлении v2v_2. Это сингулярные числа. Выполняются Av1=σ1u1Av_1 = \sigma_1 u_1 и Av2=σ2u2Av_2 = \sigma_2 u_2, где единичные векторы u1⊥u2u_1 \perp u_2 направлены вдоль осей эллипса. Объединяя столбцы, получаем A=UΣVTA = U\Sigma V^{\mathsf T}. Красные стрелки показывают vv и перпендикуляр к нему, жёлтые — их образы при AA.

Почему прямой угол сохраняется только в этих направлениях

Квадрат длины равен ∣Av∣2=vT(ATA)v|Av|^2 = v^{\mathsf T}(A^{\mathsf T}A)v. У симметричной матрицы ATAA^{\mathsf T}A есть ортогональные собственные векторы v1,v2v_1, v_2 с собственными значениями σ12,σ22\sigma_1^2, \sigma_2^2. Их образы также ортогональны, поскольку Av1⋅Av2=v1TATAv2=σ22 v1⋅v2=0Av_1 \cdot Av_2 = v_1^{\mathsf T}A^{\mathsf T}Av_2 = \sigma_2^2\, v_1 \cdot v_2 = 0. При σ1>σ2>0\sigma_1 > \sigma_2 > 0 это с точностью до знаков единственная ортонормированная пара, образы которой перпендикулярны. При A=(3045)A = \begin{pmatrix} 3 & 0 \\ 4 & 5 \end{pmatrix} векторы (1,0)(1, 0) и (0,1)(0, 1) переходят в (3,4)(3, 4) и (0,5)(0, 5) с углом всего 36.87°. При вращении vv угол меняется от 36.87° до 143.13°. При σ1=σ2\sigma_1 = \sigma_2 преобразование есть поворот или отражение, умноженное на положительный коэффициент, поэтому сохраняет любой прямой угол. При σ2=0\sigma_2 = 0 один образ нулевой и угол не определён.

Поворот, растяжение, поворот

Справа налево: VTV^{\mathsf T} совмещает v1,v2v_1, v_2 с координатными осями, Σ\Sigma растягивает вдоль них с коэффициентами σ1,σ2\sigma_1, \sigma_2, а UU направляет результат вдоль u1,u2u_1, u_2. Здесь UU также меняет направление одной оси при det⁡A<0\det A < 0. Промежуточные кадры иллюстрируют один из путей перехода. Множители разложения — сами шаги. Площадь умножается на σ1σ2=∣det⁡A∣\sigma_1\sigma_2 = |\det A|. В отличие от диагонализации, разложение существует для любой матрицы: у сдвига (1101)\begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix} нет собственного базиса, но есть сингулярные числа φ≈1.618\varphi \approx 1.618 и 1/φ≈0.6181/\varphi \approx 0.618. Для симметричной матрицы с положительными собственными значениями оба разложения совпадают.

О чём говорят сингулярные числа

При одном нулевом сингулярном числе плоскость сжимается в прямую, при двух — в точку. Число ненулевых сингулярных чисел равно рангу. При σ2>0\sigma_2 > 0 отношение σ1/σ2\sigma_1/\sigma_2 характеризует вытянутость эллипса и возможное усиление относительных ошибок при решении системы с AA. Для центрированных данных те же направления дают оси в методе главных компонент.

На что обратить внимание

  • Знаки обоих векторов в паре vi,uiv_i, u_i можно менять одновременно. При σ1=σ2\sigma_1 = \sigma_2 неоднозначны даже сами направления.
  • У любой вещественной матрицы m × n есть сингулярное разложение. Число сингулярных чисел равно меньшему из m и n. Здесь показан случай 2 × 2.

Управление

  • Перетаскивайте конец v по окружности или вращайте регулятор. Колёсико шагов позволяет увидеть три множителя по очереди.

Связанные темы