梯度尋優

梯度尋優，指沿某點函式變化率最小的梯度方向進行一維搜尋，求得該方向上的極小點，再從該點出發沿新梯度方向搜尋。循此進行，直到滿足一定的精度要求，達到最優點。該法的優點是最佳化速度快。常用的梯度尋優方法為最小梯度下降法。

基本介紹

• 中文名：梯度尋優
• 外文名：gradient search
• 常用：最小梯度下降法

定義

梯度尋優，指沿某點函式變化率最小的梯度方向進行一維搜尋，求得該方向上的極小點，再從該點出發沿新梯度方向搜尋。循此進行，直到滿足一定的精度要求，達到最優點。該法的優點是最佳化速度快。常用的梯度尋優方法為最小梯度下降法。

梯度下降法

梯度下降法（英語：Gradient descent）是一個一階最最佳化算法，通常也稱為最速下降法。 要使用梯度下降法找到一個函式的局部極小值，必須向函式上當前點對應梯度（或者是近似梯度）的反方向的規定步長距離點進行疊代搜尋。如果相反地向梯度正方向疊代進行搜尋，則會接近函式的局部極大值點；這個過程則被稱為梯度上升法。

描述

梯度下降方法基於以下的觀察：如果實值函式在點處可微且有定義，那么函式在點沿著梯度相反的方向下降最快。

因而，如果

對於為一個夠小數值時成立，那么。

考慮到這一點，我們可以從函式F的局部極小值的初始估計出發，並考慮如下序列使得

圖1.圖示

因此可得到

如果順利的話序列收斂到期望的極值。注意每次疊代步長可以改變。

右側的圖片示例了這一過程，這裡假設F定義在平面上，並且函式圖像是一個碗形。藍色的曲線是等高線（水平集），即函式F為常數的集合構成的曲線。紅色的箭頭指向該點梯度的反方向。（一點處的梯度方向與通過該點的等高線垂直）。沿著梯度下降方向，將最終到達碗底，即函式F值最小的點。

參閱

• 共軛梯度法
  
• 隨機梯度下降法