高斯—牛頓疊代法(高斯牛頓法)

高斯—牛頓疊代法

高斯牛頓法一般指本詞條

高斯一牛頓疊代法(Gauss-Newton iteration method)是非線性回歸模型中求回歸參數進行最小二乘的一種疊代方法,該法使用泰勒級數展開式去近似地代替非線性回歸模型,然後通過多次疊代,多次修正回歸係數,使回歸係數不斷逼近非線性回歸模型的最佳回歸係數,最後使原模型的殘差平方和達到最小。其直觀思想是先選取一個參數向量的參數值β,若函式ft(Xt,β)在β0附近有連續二階偏導數,則在β0的鄰域內可近似地將ft(Xt,β)看作是線性,因而可近似地用線性最小二乘法求解。

基本介紹

  • 中文名:高斯—牛頓疊代法
  • 外文名:Gauss-Newton iteration method
  • 別稱:高斯—牛頓法、泰勒級數展開法
  • 所屬學科:數學
  • 相關概念:泰勒級數展開式,殘差平方和等
基本思想,一般步驟,

基本思想

高斯-牛頓疊代法的基本思想是,使用泰勒級數展開式去近似地代替非線性回歸模型,然後通過多次疊代,多次修正回歸係數,使回歸係數不斷通過通近非線性回歸模型的最佳回歸係數,最後使原模型的殘差平方和達到最小。

一般步驟

高斯-牛頓法的一般步驟如下所示。
(1) 初始值的選擇。其方法有三種:
一是根據以往的經驗選定初始值;
二是用分段法求出初始值;
三是對於可線性化的非線性回歸模型,通過線性變換,然後施行最小平方法求出初始值。
(2)泰勒級數展開式。設非線性回歸模型為
其中: r為待估計回歸係數,誤差項
為待估回歸係數
的初始值,將式(1)
在g點附近作泰勒展開,並略去非線性回歸模型的二階及二階以上的偏導數項,得
將式(2)代人式(1),則
移項,有
用矩陣形式表示,上式則為
其中
(3)估計修正因子。用最小平方法對式(3)估計修正
為第一個疊代值,則
(4)精確度的檢驗。設殘差平方和為
其中,s內重夏疊代次數。對於給定的允許誤差率K,當
時,否則,對式(4) 作下一次疊代。
(5)重複疊代。重複式(4),當重複疊代s次吋,則有
修正因子
,第(s+1)次疊代值

相關詞條

熱門詞條

聯絡我們