Множитель Лагранжа

Нужно найти наибольшее или наименьшее значение функции $f(x, y)$, когда точка не свободна, а обязана лежать на кривой ограничения $g(x, y) = c$. Метод множителей Лагранжа указывает, где искать. Пусть у $f$ и $g$ непрерывные первые частные производные в окрестности точки P на кривой, ограничение $f$ на кривую имеет в P локальный максимум или минимум и $\nabla g(P) \neq 0$. Тогда существует число $\lambda$ — множитель Лагранжа, для которого

Это три уравнения для x, y и $\lambda$. Их решения — кандидаты, а не готовые ответы: каждого ещё нужно проверить, а точки с $\nabla g = 0$ исследовать отдельно.

Карта показывает линии уровня $f$, кривую ограничения жирной линией и точку P на ней. В P синяя стрелка — $\nabla f$, полая стрелка показывает направление $\nabla g$, а $\nabla f$ разложен на жёлтую составляющую вдоль кривой и пунктирную поперёк неё. Под картой профиль показывает $f$ в зависимости от пройденного вдоль кривой расстояния.

Почему это работает? Вдоль кривой $g$ постоянно, поэтому единичная касательная $T$ перпендикулярна $\nabla g$. При движении с единичной скоростью $f$ меняется со скоростью $\nabla f\cdot T$ — это наклон профиля в P, а жёлтая стрелка равна $(\nabla f\cdot T)\,T$. В наивысшей или наинизшей точке профиля, где $\nabla g \neq 0$, этот наклон нулевой, поэтому у $\nabla f$ нет составляющей вдоль кривой. На плоскости такой вектор кратен $\nabla g$, значит, $\nabla f = \lambda\nabla g$; при $\nabla f = 0$ имеем $\lambda = 0$. Там, где жёлтая стрелка ненулевая, движение по ней ещё увеличивает $f$, поэтому P не может быть ни максимумом, ни минимумом.

Если также $\nabla f(P) \neq 0$, то линия уровня $f$ через P перпендикулярна $\nabla f$ и имеет общую касательную с ограничением. В условном максимуме или минимуме кривая ограничения касается линии уровня, не переходя через неё.

У $\lambda$ есть собственный смысл. Обозначим через $f^*(c)$ оптимальное значение на кривой $g = c$. Если точка, в которой оно достигается, плавно движется при изменении $c$, то $\lambda$ — скорость изменения этого значения:

На окружности $x^2 + y^2 = c$ наибольшее значение $xy$ равно $c/2$, а в обоих максимумах $\lambda = 1/2$. Окно λ показывает $f^*$ в зависимости от $c$ с этим наклоном. Скорость зависит от записи ограничения. Если записать $2g = C$ при $C = 2c$, то для той же кривой множитель уменьшится вдвое: теперь он измеряет изменение на единицу C. Кнопка Записать как 2g показывает это.

Две кривые показывают границы метода. На $y - x^3 = c$ у функции $f = y$ в точке $(0, c)$ градиенты параллельны, но вдоль кривой $f = x^3 + c$ лишь выравнивается и продолжает расти. Параллельности недостаточно. На $y^2 - x^3 = 0$ наименьшее значение $f = x$ достигается в острие $(0, 0)$, где $\nabla g = (0, 0)$, а $\nabla f = \lambda\nabla g$ не имеет решения. Метод его пропускает, поэтому такие точки нужно проверять отдельно.

Профиль показывает, является ли кандидат максимумом, минимумом или ни тем ни другим. В локальном максимуме на кривой он сначала растёт, затем убывает; в локальном минимуме — наоборот, а у кандидата на кубической кривой продолжает расти.