Ортогональная проекция

Ортогональная проекция находит в подпространстве точку, ближайшую к данному вектору. Здесь подпространство $S$ — плоскость или прямая через начало координат O, а вектор — $\vec b$. Его проекция $\vec p$ лежит в $S$, и ошибка $\vec e = \vec b - \vec p$ перпендикулярна $S$. Можно двигать $\vec b$ и менять $S$, сравнивать $\vec p$ с любой другой точкой $S$ и наблюдать, когда тени $\vec b$ на двух осях в сумме дают $\vec p$.

Почему прямой угол даёт ближайшую точку? Возьмите любую другую точку $q$ в $S$. Отрезок от $q$ до $\vec p$ лежит в $S$, поэтому он перпендикулярен $\vec e$. Точки $\vec b$, $\vec p$ и $q$ образуют прямоугольный треугольник с прямым углом при $\vec p$, и по теореме Пифагора

Значит, $\vec b$ находится дальше от $q$, чем от $\vec p$, если только $q$ не совпадает с $\vec p$. Верно и обратное. Если бы $\vec e$ наклонялся в каком-либо направлении внутри $S$, небольшой сдвиг $\vec p$ в этом направлении приблизил бы его к $\vec b$. Поэтому в плоскости ближайшая точка — та, в которой $\vec e$ перпендикулярен и $\vec u$, и $\vec w$. На прямой достаточно перпендикулярности к $\vec u$.

Поиск $\vec p$ сводится к этим условиям прямого угла. На прямой $\vec p$ — кратное $\vec u$, а условие $\vec e\cdot\vec u = 0$ определяет множитель:

В плоскости запишем $\vec p = c_1\vec u + c_2\vec w$. Условия $\vec e\cdot\vec u = 0$ и $\vec e\cdot\vec w = 0$ превращаются в два линейных уравнения относительно $c_1$ и $c_2$, называемых нормальными уравнениями:

Панель показывает $\vec p$ и в координатах, и как комбинацию $\vec u$ и $\vec w$. Перетаскивайте $\vec u$ и $\vec w$ в той же плоскости: коэффициенты меняются, но $\vec p$ — нет. Проекция зависит только от подпространства, а не от векторов, выбранных для его описания.

Когда $\vec u$ и $\vec w$ перпендикулярны, уравнения разделяются. Каждый коэффициент зависит лишь от одной оси, а $\vec p$ оказывается просто суммой теней $\vec b$ на двух осях:

На косых осях этот короткий путь обычно не работает. Каждая тень вычисляется так, будто другой оси нет, поэтому их сумма $s$ обычно не совпадает с $\vec p$. В таком случае панель показывает, что $\vec b - s$ не выполняет хотя бы одно из двух условий перпендикулярности. Кнопка Сделать w перпендикулярным u заменяет $\vec w$ его составляющей, перпендикулярной $\vec u$: это один шаг процесса Грама–Шмидта. Плоскость остаётся прежней, но теперь её оси перпендикулярны, и сумма теней равна $\vec p$ для любого $\vec b$.

Диагональ через $(1, 1, 1)$ даёт знакомый пример. Проецирование $\vec b$ на эту прямую заменяет каждую координату $\vec b$ средним всех его координат, а $|\vec e|^2$ равно сумме квадратов отклонений от этого среднего. Регрессия методом наименьших квадратов использует такой же вид проекции.