Метод наименьших квадратов

Три точки редко лежат на одной прямой, поэтому любая прямая проходит мимо некоторых из них. Слева показаны точки, наилучшая прямая и её остатки — вертикальные отклонения, сумма квадратов которых равна SSE. Справа те же три высоты образуют один вектор в пространстве, и поиск наилучшей прямой означает проецирование этого вектора на плоскость. Можно перемещать точки, пробовать свою прямую и сравнивать две более простые модели.

Почему данные — это одна точка? Запишем три высоты одним вектором $\vec b = (y_1, y_2, y_3)$. Это синяя стрелка справа, а оси называются $y_1, y_2, y_3$, потому что каждая измеряет одну высоту. В трёх точках $x_i$ прямая принимает значения $c + m x_i$, образующие вектор $c\,\mathbf 1 + m\,\vec x$, где $\mathbf 1 = (1, 1, 1)$. В общей модели $y = c + mx$, если не все $x_i$ равны, при изменении $c$ и $m$ эти векторы заполняют прозрачную плоскость, проходящую через $\mathbf 1$ и $\vec x$. Поэтому каждая прямая, которую можно нарисовать слева, — это одна точка данной плоскости.

Выберем любую прямую. Её остатки — разности между координатами $\vec b$ и соответствующей точки в плоскости, поэтому её SSE равна квадрату расстояния между ними. Значит, наилучшая прямая соответствует точке $\vec p$ плоскости, ближайшей к $\vec b$, — ортогональной проекции. Вектор остатков $\vec r = \vec b - \vec p$ перпендикулярен плоскости, а значит, и $\mathbf 1$, и $\vec x$. Запись этих двух прямых углов в виде равенств даёт нормальные уравнения:

Если включить Прямые углы и равновесие, остатки станут вертикальными пружинами одинаковой жёсткости. Их равнодействующая пропорциональна $\sum r_i$, а момент сил относительно начала координат — $\sum x_i r_i$. Наилучшее приближение в общей модели обращает обе величины в ноль. Для постоянной модели достаточно нулевой равнодействующей, а для прямой через начало координат — нулевого момента сил.

Ваша прямая, показанная красным, всегда принадлежит текущей модели, поэтому её точка $\vec q$ лежит в той же плоскости или на той же прямой, что и $\vec p$. Перемещение от $\vec p$ к $\vec q$ тоже лежит там, а $\vec r$ перпендикулярен этому пространству. Поэтому теорема Пифагора точно раскладывает вашу ошибку на две части. Ваша SSE достигает минимума тогда и только тогда, когда $\vec q = \vec p$.

Две малые модели сохраняют по одному столбцу. Подбор $y = c$ проецирует $\vec b$ на прямую через $\mathbf 1$, а $c$ оказывается средним высот. Подбор $y = mx$ проецирует на прямую через $\vec x$, либо только на начало координат, если все $x_i$ равны 0. Если не все $x_i$ равны, это две разные прямые в плоскости. Ни одна модель не содержит другую, а общая прямая приближает данные не хуже обеих. Та же проекция лежит в основе линейной регрессии.