誤差逆傳播算法

誤差逆傳播算法（backpropagation BP算法）是迄今最成功的的神經網路算法。顯示任務中使用神經網路時，大多是在使用BP算法進行訓練。不僅適用於多層前饋神經網路，還可以用於其他類型的神經網路，訓練遞歸。

基本介紹

• 中文名：誤差逆傳播算法
• 套用領域：深度學習

算法總結

先將輸入實例提供給輸入層神經元，然後逐層將信號前傳，直到產生輸出層的結果；

然後計算輸出層的誤差，再將誤差逆向傳播至隱層神經元；

最後根據隱層神經元的誤差來對連線權和閾值進行調整，該疊代過程循環進行，直到達到某些停止條件位置（如訓練誤差已達到一個很小的值）。

累計誤差逆傳播算法

如果推導出基於累積誤差最小化的更新規則，就得到了累積誤差逆傳播算法。

與標準的BP算法每次更新只針對單個樣例，參數更新的非常頻繁，往往需進行更多次疊代。但是累積BP算法直接針對累積誤差最小化，它在讀取整個訓練集一遍後才對參數進行更新，其參數更新頻率低，但是在很多任務中，累積誤差下降到一定程度後，進一步下降變得很緩慢。這是標準BP會更好，尤其參數非常大時。

全局最小和局部極小的解決方法

目前主要有三種方式解決這個問題，

1）對參數分組初始化多個神經網路；

2）使用模擬退火技術；

3）使用隨機梯度下降。

其他常見神經網路

• RBF網路
  
• ART網路
  
• SOM網路
  
• 級聯相關網路
  
• Elman網路
  
• Boltzmann機