反饋網路

概念

反饋網路(Recurrent Network)，又稱自聯想記憶網路，其目的是為了設計一個網路，儲存一組平衡點，使得當給網路一組初始值時，網路通過自行運行而最終收斂到這個設計的平衡點上。

1982年，物理學家霍普菲爾德(J．Hopfield)發表了一篇對人工神經網路研究頗有影響的論文。

反饋網路能夠表現出非線性動力學系統的動態特性。它所具有的主要特性為以下兩點：

第一、網路系統具有若干個穩定狀態。當網路從某一初始狀態開始運動，網路系統總可以收斂到某一個穩定的平衡狀態；

第二，系統穩定的平衡狀態可以通過設計網路的權值而被存儲到網路中。

Hopfield網路是單層對稱全反饋網路，根據激活函式選取的不同，可分為離散型和連續性兩種（DHNN,CHNN）。

DHNN：激活函式f(·)是一個二值型的硬函式，即ai=sgn(ni)，i=l, 2, … r，主要用於聯想記憶；

CHNN：激活函式f(·)為一個連續單調上升的有界函式，主要用於最佳化計算。

非線性系統狀態演變的形式

設狀態矢量N=[n1, n2, …，nr]，網路的輸出矢量為A=[a1，a2…，ar] ，

在一個r維狀態空間上，可以用一條軌跡來描述狀態變化情況。

從初始值N(t0)出發， N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，這些在空間上的點組成的確定軌跡，是演化過程中所有可能狀態的集合，我們稱這個狀態空間為相空間。

對於DHNN，因為N(t)中每個值只可能為±1，或{0，1}，對於確定的權值wij，其軌跡是跳躍的階梯式，如圖中A所示。

對於CHNN，因為f(·)是連續的，因而，其軌跡也是連續的。如圖3的B、C所示。

在Hopfield網路中，由於反饋的存在，對於不同的連線權值wij和輸入Pj(i, j=1, 2, … r)，反饋網路狀態軌跡可能出現以下幾種情況：（1）漸進穩定；（2）極限環；（3）混沌現象；（4）狀態軌跡發散；

(1)狀態軌跡為穩定點

狀態軌跡從系統在t0時狀態的初值N(t0)開始，經過一定的時間t(t>0)後，到達N(t0+t)。如果N(t0+t+Δt)=N(t0+t)，Δt>0，則狀態N(t0+t)稱為網路的穩定點，或平衡點。

即反饋網路從任一初始態P(0)開始運動，若存在某一有限時刻t，從t以後的網路狀態不再發生變化：P(t+Δt)= P(t)，Δt>0，則稱該網路是穩定的。

處於穩定時的網路狀態叫做穩定狀態，又稱為定吸引子。

在一個反饋網路中，存在很多穩定點，根據不同情況，這些穩定點可以分為：

1)漸近穩定點：如果在穩定點Ne周圍的N(σ)區域內，從任一個初始狀態N(t0)出發的每個運動，當t→∞時都收斂於Ne，則稱Ne為漸近穩定點。