拉格朗日乘數

問題是：點不能自由移動，必須留在限制條件$g(x, y) = c$所指定的曲線上，這時函數$f(x, y)$的最大值或最小值在哪裡？拉格朗日乘數法告訴我們該往哪裡找。假設$f$與$g$在曲線上某點P附近有連續的一階偏導數，$f$限制在曲線上時於P取得局部最大值或局部最小值，且$\nabla g(P) \neq 0$。那麼存在一個數$\lambda$，稱為拉格朗日乘數，使得

這是關於x、y與$\lambda$的三個方程式。它們的解是候選點，還不是答案：每一個都要確認，而$\nabla g = 0$的點必須另外查看。

地圖顯示$f$的等高線、以粗線畫出的限制曲線，以及曲線上的點P。P處的藍色箭頭是$\nabla f$，空心箭頭表示$\nabla g$的方向；$\nabla f$分成沿曲線的黃色分量，以及垂直於曲線的虛線分量。地圖下方的剖面，以沿曲線走過的距離為橫軸，畫出$f$。

為什麼可行？沿曲線移動時，$g$不變，所以曲線的單位切向量$T$垂直於$\nabla g$。以單位速率沿曲線行走，$f$的變化率為$\nabla f\cdot T$，也就是剖面在P處的斜率；黃色箭頭則是$(\nabla f\cdot T)\,T$。在滿足$\nabla g \neq 0$的剖面最高或最低點，斜率為0，因此$\nabla f$沒有沿曲線的分量。在平面內，沒有沿曲線分量的向量必為$\nabla g$的倍數，所以$\nabla f = \lambda\nabla g$；若$\nabla f = 0$，則$\lambda = 0$。只要黃色箭頭不是零向量，沿它的方向走就還能讓$f$增加，所以P不可能是那裡的極大點或極小點。

若還滿足$\nabla f(P) \neq 0$，通過P的$f$等高線就垂直於$\nabla f$，因此與限制曲線有相同切線。在限制條件下的最大或最小點，限制曲線會接觸等高線，而不是穿越它。

$\lambda$本身也有意義。把曲線$g = c$上的最適值寫成$f^*(c)$。若取得這個值的點隨$c$的變化而光滑移動，那麼$\lambda$就是最適值的變化率：

在圓$x^2 + y^2 = c$上，$xy$的最大值為$c/2$，兩個最大值點都滿足$\lambda = 1/2$。λ視窗以$c$為橫軸，畫出斜率為此值的$f^*$。變化率取決於限制條件的寫法。若以$C = 2c$改寫成$2g = C$，同一條曲線的乘數就會減半，因為現在量的是C每增加一單位的變化。寫成2g會顯示這個差異。

兩條曲線展示了這個方法的界限。在$y - x^3 = c$上，函數$f = y$在$(0, c)$處有平行的梯度，但沿曲線的$f = x^3 + c$只是在那裡斜率變成0，仍繼續上升。梯度平行並不足夠。在$y^2 - x^3 = 0$上，$f = x$的最小值出現在尖點$(0, 0)$，那裡$\nabla g = (0, 0)$，而$\nabla f = \lambda\nabla g$無解。這個方法會漏掉它，所以這類點必須另外逐一確認。

候選點是極大、極小，還是兩者皆非，可以從剖面看出。在曲線上的局部最大點，剖面先升後降；在局部最小點，先降後升；在三次曲線的候選點，則持續上升。