基本介紹
- 中文名：退火算法
- 外文名：Simulate Anneal Arithmetic
- 全稱：模擬退火算法
- 來源：固體退火原理
定義,起源,模型建立,算法步驟,注意事項,套用領域及示例,參數控制,優缺點及改良方式,
定義
Simulate Anneal Arithmetic (SAA,模擬退火算法)
根據Metropolis準則，粒子在溫度T時趨於平衡的機率為e-ΔE/(kT)，其中e為溫度T時的內能，ΔE為其改變數,k為Boltzmann常數。用固體退火模擬組合最佳化問題，將內能E模擬為目標函式值f,溫度T演化成控制參數t,即得到解組合最佳化問題的模擬退火算法：由初始解i和控制參數初值t開始，對當前解重複“產生新解→計算目標函式差→接受或捨棄”的疊代，並逐步衰減t值，算法終止時的當前解即為所得近似最優解，這是基於蒙特卡羅疊代求解法的一種啟發式隨機搜尋過程。退火過程由冷卻進度表(Cooling Schedule)控制，包括控制參數的初值t及其衰減因子Δt、每個t值時的疊代次數L和停止條件S。
起源
模擬退火算法起源於物理退火。
物理退火過程：
⑴ 加溫過程
⑵ 等溫過程
⑶ 冷卻過程
模型建立
模擬退火算法可以分解為解空間、目標函式和初始解三部分。
模擬退火的基本思想：
⑴ 初始化：初始溫度T（充分大），初始解狀態S（是算法疊代的起點）， 每個T值的疊代次數L
⑵ 對k=1,……,L做第⑶至第6步：
⑶ 產生新解S′
⑷ 計算增量Δt′=C(S′）-C(S)，其中C(S)為評價函式
⑸ 若Δt′<0則接受S′作為新的當前解，否則以機率exp(-Δt′/T)接受S′作為新的當前解.
⑹ 如果滿足終止條件則輸出當前解作為最優解，結束程式。
終止條件通常取為連續若干個新解都沒有被接受時終止算法。
⑺ T逐漸減少，且T->0,然後轉第2步。
算法步驟
模擬退火算法新解的產生和接受可分為如下四個步驟：
第一步是由一個產生函式從當前解產生一個位於解空間的新解；為便於後續的計算和接受，減少算法耗時，通常選擇由當前新解經過簡單地變換即可產生新解的方法，如對構成新解的全部或部分元素進行置換、互換等，注意到產生新解的變換方法決定了當前新解的鄰域結構，因而對冷卻進度表的選取有一定的影響。
第二步是計算與新解所對應的目標函式差。因為目標函式差僅由變換部分產生，所以目標函式差的計算最好按增量計算。事實表明，對大多數套用而言，這是計算目標函式差的最快方法。
第三步是判斷新解是否被接受,判斷的依據是一個接受準則，最常用的接受準則是Metropolis接受準則： 若Δt′<0則接受S′作為新的當前解S,否則以機率exp(-Δt′/T)接受S′作為新的當前解S。
第四步是當新解被確定接受時，用新解代替當前解，這只需將當前解中對應於產生新解時的變換部分予以實現，同時修正目標函式值即可。此時，當前解實現了一次疊代。可在此基礎上開始下一輪試驗。而當新解被判定為捨棄時，則在原當前解的基礎上繼續下一輪試驗。
注意事項
套用領域及示例
作為模擬退火算法套用，討論旅行商問題(Travelling Salesman Problem,簡記為TSP)：設有n個城市，用數碼1,…,n代表。城市i和城市j之間的距離為d(i,j) i,j=1,…,n．TSP問題是要找遍訪每個域市恰好一次的一條迴路，且其路徑總長度為最短.。
求解TSP的模擬退火算法模型可描述如下：
解空間 解空間S是遍訪每個城市恰好一次的所有迴路，是{1,……,n}的所有循環排列的集合,S中的成員記為(w1,w2,……,wn)，並記wn+1= w1。初始解可選為(1,……,n)
目標函式 此時的目標函式即為訪問所有城市的路徑總長度或稱為代價函式：
我們要求此代價函式的最小值。
新解的產生 隨機產生1和n之間的兩相異數k和m,
若k<m,則將
(w1,w2,…,wk,wk+1,…,wm,…,wn)
變為：
(w1,w2,…,wm,wm-1,…,wk+1,wk,…,wn).
如果是k>m,則將
(w1,w2,…,wm,wm+1,…,wk,…,wn)
變為：
(wm,wm-1,…,w1,wm+1,…,wk-1,wn,wn-1,…,wk).
上述變換方法可簡單說成是“逆轉中間或者逆轉兩端”。
也可以採用其他的變換方法，有些變換有獨特的優越性，有時也將它們交替使用，得到一種更好方法。
代價函式差 設將(w1,w2,……,wn)變換為(u1,u2,……,un)，則代價函式差為：
根據上述分析，可寫出用模擬退火算法求解TSP問題的偽程式：
Procedure TSPSA:
begin
init-of-T; { T為初始溫度}
S={1,……,n}; {S為初始值}
termination=false;
while termination=false
begin
for i=1 to L do
begin
generate(S′form S); { 從當前迴路S產生新迴路S′}
Δt:=f(S′））-f(S);{f(S)為路徑總長}
IF（Δt<0) OR (EXP(-Δt/T)>Random-of-[0,1])
S=S′；
IF the-halt-condition-is-TRUE THEN
termination=true;
End;
T_lower;
End;
End
模擬退火算法的套用很廣泛，可以較高的效率求解最大截問題(Max Cut Problem)、0-1背包問題(Zero One Knapsack Problem)、圖著色問題(Graph Colouring Problem)、調度問題(Scheduling Problem)等等。
參數控制
⑴ 溫度T的初始值設定問題。
溫度T的初始值設定是影響模擬退火算法全局搜尋性能的重要因素之一、初始溫度高，則搜尋到全局最優解的可能性大，但因此要花費大量的計算時間；反之，則可節約計算時間，但全局搜尋性能可能受到影響。實際套用過程中，初始溫度一般需要依據實驗結果進行若干次調整。
⑵ 退火速度問題。
模擬退火算法的全局搜尋性能也與退火速度密切相關。一般來說，同一溫度下的“充分”搜尋（退火）是相當必要的，但這需要計算時間。實際套用中，要針對具體問題的性質和特徵設定合理的退火平衡條件。
⑶ 溫度管理問題。
溫度管理問題也是模擬退火算法難以處理的問題之一。實際套用中，由於必須考慮計算複雜度的切實可行性等問題，常採用如下所示的降溫方式：
T(t+1)=k×T(t)
式中k為正的略小於1.00的常數,t為降溫的次數
優缺點及改良方式
優點：計算過程簡單，通用，魯棒性強，適用於並行處理，可用於求解複雜的非線性最佳化問題。
缺點：收斂速度慢，執行時間長，算法性能與初始值有關及參數敏感等缺點。
經典模擬退火算法的缺點：
⑴如果降溫過程足夠緩慢，多得到的解的性能會比較好，但與此相對的是收斂速度太慢；
⑵如果降溫過程過快，很可能得不到全局最優解。
模擬退火算法的改進
⑴ 設計合適的狀態產生函式，使其根據搜尋進程的需要
表現出狀態的全空間分散性或局部區域性。
⑵ 設計高效的退火策略。
⑶ 避免狀態的迂迴搜尋。
⑷ 採用並行搜尋結構。
⑸ 為避免陷入局部極小，改進對溫度的控制方式
⑹ 選擇合適的初始狀態。
⑺ 設計合適的算法終止準則。
也可通過增加某些環節而實現對模擬退火算法的改進。
主要的改進方式包括：
⑴ 增加升溫或重升溫過程。在算法進程的適當時機，將溫度適當提高，從而可激活各狀態的接受機率，以調整搜尋進程中的當前狀態，避免算法在局部極小解處停滯不前。
⑵ 增加記憶功能。為避免搜尋過程中由於執行機率接受環節而遺失當前遇到的最優解，可通過增加存儲環節，將一些在這之前好的態記憶下來。
⑶ 增加補充搜尋過程。即在退火過程結束後，以搜尋到的最優解為初始狀態，再次執行模擬退火過程或局部性搜尋。
⑷ 對每一當前狀態，採用多次搜尋策略，以機率接受區域內的最優狀態，而非標準SA的單次比較方式。
⑸ 結合其他搜尋機制的算法，如遺傳算法、混沌搜尋等。
⑹上述各方法的綜合套用。
