信賴域方法是數值最佳化領域的核心算法框架，其基本原理是在每次疊代時構建目標函式的局部二次模型$q_k(d)$，通過在可信區域內（$|d|\leq \Delta_k$）求解該模型的最優解來進行參數更新。算法通過實際下降量與預測下降量的比值$\rho_k$動態調整信賴域半徑：當$\rho_k$接近1時擴大搜尋區域，反之則縮小範圍以維持模型精度。
該方法在機器學習、計算機視覺和機器人控制等領域廣泛套用，特別適用於處理非線性方程組和帶約束的最佳化問題。研究證明在利普希茨連續條件下，信賴域算法具有全局收斂性，且通過改進參數選擇策略可實現超線性收斂速度。相較於傳統線搜尋方法，信賴域技術能更好地處理Hessian矩陣非正定情形，通過柯西點計算和二維子空間最小化策略保證解的可行性。
基本介紹
- 中文名：信賴域
- 外文名：Trust Region
- 提出時間：20世紀60年代
- 套用領域：非線性最佳化、機器學習、控制理論
- 核心思想：局部二次模型與動態鄰域調節
- 算法類型：無約束/約束最佳化框架
算法框架,子問題求解,收斂性分析,套用領域,擴展方法,
算法框架
信賴域方法通過二階泰勒展開構造局部近似模型$q_k(d) = f_k + g_k^Td + \frac{1}{2}d^TB_kd$，其中$f_k$為當前疊代點函式值，$g_k$為梯度，$B_k$為Hessian矩陣或其近似。疊代步長$d_k$需滿足約束條件$|d_k|\leq \Delta_k$，該約束區域稱為信賴域。模型精度通過比值$\rho_k = \frac{f(x_k)-f(x_k+d_k)}{q_k(0)-q_k(d_k)}$進行驗證，當$\rhok > 0.75$時擴大$\Delta{k+1}$至$2\Delta_k$，$\rho_k < 0.25$時縮小至$0.25\Delta_k$。
子問題求解
子問題求解分為精確解和近似解兩類方法：
- 精確解法通過拉格朗日乘子法推導出$(B_k+\lambda I)d = -g_k$的最優性條件，當$B_k$半正定時直接求解$B_k d = -g_k$
- 近似解法包含柯西點法和Dogleg法：柯西點沿負梯度方向尋找極值點，Dogleg法則在無約束最優解$p^B$與柯西點之間構建分段路徑
- 二維子空間法將搜尋空間限制在梯度方向與牛頓方向張成的平面內，通過參數$\tau_k$控制步長範圍
收斂性分析
在目標函式$f(x)$具有利普希茨連續梯度的條件下，信賴域算法滿足全局收斂性$\liminf_{k→∞}|g_k|= 0$。當疊代點接近局部極小值時，若Hessian矩陣正定且$\Delta_k$足夠大，算法呈現超線性收斂特性。柯西點下降量滿足$\Delta f_k \geq c_1|g_k|\min{\Delta_k,|g_k|/|B_k|}$的顯式估計，為收斂證明提供理論依據。
套用領域
- 非線性方程組求解：改進的Levenberg-Marquardt方法結合信賴域技術，在雅可比矩陣奇異情況下仍保持超線性收斂
- 機器人運動規劃：用於求解動力學約束下的最優軌跡問題，通過調節$\Delta_k$平衡計算效率與收斂精度
- 蒙特卡洛濾波：TRSQMC算法利用信賴域調整粒子採樣位置，將複雜度從$Ο(N^2)$降至$Ο(N)$
- 結構最佳化設計：套用于飛機機翼顫振分析等工程問題，處理帶有不等式約束的非線性規劃
擴展方法
針對約束最佳化問題，研究者提出可行信賴域濾子法，通過引入濾子機制處理不等式約束條件。在隨機最佳化領域，序貫擬蒙特卡洛濾波算法將信賴域與擬蒙特卡洛採樣結合，增強粒子對高維機率分布的表示能力。對於大規模問題，截斷共軛梯度法被用於高效求解信賴域子問題，在邏輯回歸等機器學習模型中展現出實踐價值。
