梯度

本頁中的梯度

值得觀察的地方

• 梯度垂直於通過 P 的等高線。以相同 $f$ 間隔繪製的等高線，會在 $|\nabla f|$ 較大的地方聚集。
• u 轉一圈時，圖上的點 $(a, b) + (D_u f)\,u$ 描出一個圓，直徑從 $(a, b)$ 延伸至 $(a, b) + \nabla f$。當 $\nabla f = 0$ 時，圓縮成該點本身。
• 最陡上坡方向不一定指向山頂：在拉長的山丘上，兩個方向不同。
• 偏導數也是方向導數：$u = (1, 0)$ 給出 $f_x$，$u = (0, 1)$ 給出 $f_y$。
• 當 $\nabla f = 0$ 時（臨界點），每個方向的斜率都是 0，沒有最陡方向。鞍點就是其中既非局部極大值、也非局部極小值的點。
• 黃色高度變化屬於切平面：它是線性近似。沿 u 水平前進一小步 $h$，曲面本身的高度變化是 $f((a, b) + h u) - f(a, b) \approx h\,D_u f$；$h$ 越小，兩者越接近。

應用在哪裡

• 梯度下降法是訓練機器學習模型的基本方法，反覆沿梯度的反方向走小步 $x \leftarrow x - \eta\,\nabla f(x)$，使函數值降低。當 $\nabla f \ne 0$ 時，足夠小的一步會走向下坡，但此法可能停在局部極小值，或在鞍點附近緩慢移動，而沒有到達最低點。
• 梯度垂直於等值曲線，因此給出曲線的法線方向。光滑函數 $f$ 在曲線 $g = c$ 上取得極大值或極小值時（滿足 $\nabla g \ne 0$），兩個梯度平行，$\nabla f = \lambda \nabla g$：這就是拉格朗日乘數法的想法。
• 物理中的保守力是位能梯度的負值，$F = -\nabla U$：它朝較低能量推動，方向就是能量下降最快的方向。

操作方式

• 拖曳曲面上的 P、它在圖上的投影點，或紅色箭頭的尖端。關鍵點與關鍵方向（$+x$、$+y$、$\nabla f$、$\perp\nabla f$）會直接設為精確值；在指定的臨界點，$\nabla f$ 恰為 0。
• 掃描讓 u 轉一圈並停在最陡方向。俯視從正上方向下看，此時圖上的角度就是真實角度。簡報模式開啟適合投影機的全螢幕畫面（空白鍵掃描，← → 轉動 u，H 隱藏答案）。

相關概念