梯度：三维交互演示

01

梯度与本页画面

函数 $f(x, y)$ 的梯度记作 $\nabla f$ 或 $\operatorname{grad} f$ ，是由偏导数组成的向量 $\nabla f = (f_x, f_y)$ 。在 $f$ 可微且 $\nabla f \ne 0$ 的点，梯度指向函数增长最快的方向，它的模就是这个最大的变化率。本页在六个曲面上演示梯度，以及方向导数，即函数沿某一方向的变化率。

玻璃曲面是 $z = f(x, y)$ 的图像，下方地面上是它的等高线图。蓝色的点 P 在曲面上，位于 $(a, b)$ 的正上方。红色箭头 u 是 P 处水平的单位向量，方向角 $\theta$ 从 $x$ 轴正向逆时针量起。沿 u 水平移动一个单位，切平面升高的就是那段黄色竖线，即方向导数：

方向导数

D_u f(a, b) = \nabla f \cdot u = f_x \cos\theta + f_y \sin\theta.

方向导数也常记作 $\dfrac{\partial f}{\partial l}$ ，方向用单位向量 $e_l = (\cos\alpha, \cos\beta)$ ；本页的 $\theta$ 从 $x$ 轴正向逆时针量起，所以 $\cos\alpha = \cos\theta$ 、 $\cos\beta = \sin\theta$ 。蓝色圆环是 P 周围的单位圆抬到切平面上的样子，它的最高点在梯度方向上，比 P 高 $|\nabla f|$ ，因为

最大斜率

D_u f = |\nabla f| \cos\varphi \le |\nabla f|,

其中 $\varphi$ 是 u 与 $\nabla f$ 的夹角。沿梯度方向斜率最大，沿过 P 的等高线斜率为零，逆着梯度斜率最小（最负）。

02

值得注意

梯度与过 P 的等高线垂直。按相等的函数值间隔画出的等高线，在 $|\nabla f|$ 大的地方更密。
u 转一整圈时，地图上的点 $(a, b) + (D_u f)\,u$ 画出一个圆，直径从 $(a, b)$ 到 $(a, b) + \nabla f$ 。 $\nabla f = 0$ 时，这个圆缩成这一点本身。
最陡的上坡方向不一定指向山顶：在拉长的山丘上，两个方向并不相同。
偏导数就是特殊方向上的方向导数： $u = (1, 0)$ 得到 $f_x$ ， $u = (0, 1)$ 得到 $f_y$ 。
在 $\nabla f = 0$ 的点（驻点，属于临界点），各个方向的斜率都是 0，没有最陡的方向。鞍点就是这样的点，但它既不是极大值点也不是极小值点。
黄色线段是切平面的升高，是线性近似。沿 u 水平移动一小步 $h$ ，曲面本身的升高是 $f((a, b) + h u) - f(a, b) \approx h\,D_u f$ ， $h$ 越小越接近。

03

用途

梯度下降是训练机器学习模型的基本方法：沿梯度的反方向反复走小步， $x \leftarrow x - \eta\,\nabla f(x)$ ，让函数值下降。在 $\nabla f \ne 0$ 处，步子足够小时每一步都在下降，但它可能停在局部最小值，或在鞍点附近走得很慢，不一定到达最低点。
梯度与等值线垂直，所以给出等值线的法向。光滑函数 $f$ 在约束曲线 $g = c$ 上取得极值的点（且 $\nabla g \ne 0$ ），两个梯度平行： $\nabla f = \lambda \nabla g$ ，这就是拉格朗日乘数法的思路。
在物理中，保守力等于势能梯度的相反数， $F = -\nabla U$ ：它把物体推向势能更低、而且下降最快的方向。

04

操作

在曲面上拖动 P 或它在地图上的投影，或拖动红色箭头的尖端。关键点和关键方向（ $+x$ 、 $+y$ 、 $\nabla f$ 、 $\perp\nabla f$ ）直接跳到精确值；作为关键点的驻点处， $\nabla f$ 精确为 0。
“转一圈”让 u 转一整圈，停在最陡的方向。“俯视”从正上方看，地图上的角度是真实的。“演示模式”打开适合投影的全屏视图（空格转一圈，← → 转动 u，H 隐藏答案）。

05

梯度与本页画面

值得注意

用途

操作

相关概念