Градиент: интерактивная 3D-визуализация

01

Градиент в этой визуализации

Градиент функции $f(x, y)$ , обозначаемый $\nabla f$ или $\operatorname{grad} f$ , — вектор её частных производных, $\nabla f = (f_x, f_y)$ . Там, где $f$ дифференцируема и $\nabla f \ne 0$ , он указывает направление наискорейшего роста $f$ , а его длина равна этой наибольшей скорости роста. Здесь он показан на шести поверхностях вместе с производной по направлению — скоростью изменения $f$ в выбранном направлении.

Стеклянная поверхность — график $z = f(x, y)$ ; на полу лежит её карта линий уровня. Синяя точка P находится на поверхности над $(a, b)$ . Красная стрелка u — горизонтальный единичный вектор под углом $\theta$ , отсчитанным против часовой стрелки от положительного направления оси $x$ . За горизонтальный единичный шаг вдоль u касательная плоскость поднимается на высоту жёлтого отрезка: это производная по направлению

Производная по направлению

D_u f(a, b) = \nabla f \cdot u = f_x \cos\theta + f_y \sin\theta.

Производную по направлению также обозначают $\dfrac{\partial f}{\partial l}$ , где направление задаёт единичный вектор $e_l = (\cos\alpha, \cos\beta)$ ; здесь $\theta$ отсчитывается против часовой стрелки от положительного направления оси $x$ , поэтому $\cos\alpha = \cos\theta$ и $\cos\beta = \sin\theta$ . Синее кольцо — единичная окружность вокруг P, поднятая на касательную плоскость. Её высшая точка лежит в направлении градиента, на $|\nabla f|$ выше P, поскольку

Наибольший наклон

D_u f = |\nabla f| \cos\varphi \le |\nabla f|,

где $\varphi$ — угол между u и $\nabla f$ . Наклон наибольший вдоль градиента, нулевой вдоль линии уровня через P и наиболее отрицательный против градиента.

02

На что обратить внимание

Градиент перпендикулярен линии уровня через P. Линии уровня, проведённые с одинаковым шагом по $f$ , сгущаются там, где $|\nabla f|$ велико.
При полном обороте u точка на карте $(a, b) + (D_u f)\,u$ описывает окружность с диаметром от $(a, b)$ до $(a, b) + \nabla f$ . Там, где $\nabla f = 0$ , окружность стягивается в саму точку.
Направление наискорейшего подъёма не обязательно ведёт к вершине: на вытянутом холме эти направления различаются.
Частные производные — это производные по направлениям: $u = (1, 0)$ даёт $f_x$ , а $u = (0, 1)$ — $f_y$ .
Там, где $\nabla f = 0$ (критическая точка), во всех направлениях наклон равен 0 и направления наискорейшего роста нет. Седло — такая точка, которая не является ни локальным максимумом, ни локальным минимумом.
Жёлтый подъём относится к касательной плоскости: это линейное приближение. За короткий горизонтальный шаг $h$ вдоль u сама поверхность поднимается на $f((a, b) + h u) - f(a, b) \approx h\,D_u f$ ; чем меньше $h$ , тем точнее совпадение.

03

Где это применяется

Градиентный спуск, основной метод обучения моделей машинного обучения, уменьшает функцию последовательными малыми шагами против градиента, $x \leftarrow x - \eta\,\nabla f(x)$ . При $\nabla f \ne 0$ достаточно малый шаг ведёт вниз, но метод может остановиться в локальном минимуме или двигаться очень медленно вблизи седла, не достигнув самой низкой точки.
Поскольку градиент перпендикулярен линиям уровня, он задаёт направление их нормали. Если гладкая $f$ имеет максимум или минимум на кривой $g = c$ (при $\nabla g \ne 0$ ), два градиента параллельны, $\nabla f = \lambda \nabla g$ : в этом идея множителей Лагранжа.
В физике консервативная сила равна градиенту потенциальной энергии с противоположным знаком, $F = -\nabla U$ : она направлена к меньшей энергии, туда, где энергия убывает быстрее всего.

04

Управление

Перетаскивайте P на поверхности или её проекцию на карте либо конец красной стрелки. Ключевые точки и направления ( $+x$ , $+y$ , $\nabla f$ , $\perp\nabla f$ ) переводят к точным значениям; в ключевой критической точке $\nabla f$ равно ровно 0.
Обход поворачивает u на полный оборот и останавливает его в направлении наибольшего наклона. Вид сверху показывает поверхность строго сверху, сохраняя углы на карте. Режим презентации открывает полный экран для проектора (Пробел запускает обход, ← → поворачивают u, H скрывает ответы).

05

Связанные темы

E10Карта линий уровняПланируется
E12Частная производная
E13Касательная плоскость
E16Критерий по вторым частным производнымПланируется
E17Множитель ЛагранжаПланируется

Дополнительные материалы: Википедия: Gradient (Английский); OpenStax, Calculus Volume 3, 4.6 Directional Derivatives and the Gradient (Английский).