AIC信息準則即Akaike information criterion，是衡量統計模型擬合優良性(Goodness of fit)的一種標準，由於它為日本統計學家赤池弘次創立和發展的，因此又稱赤池信息量準則。它建立在熵的概念基礎上，可以權衡所估計模型的複雜度和此模型擬合數據的優良性。
基本介紹
- 中文名：赤池信息量準則
- 外文名：Akaike information criterion
- 簡稱：AIC
- 定義：對多種模型作選擇的判別方法
- 創立人：赤池弘次
提出背景,數學表達及套用,AIC的延伸套用,
數位訊號處理中對多種模型作選擇的判別方法。
在一般的情況下，AIC可以表示為： AIC=2k-2ln(L)
其中：k是參數的數量，L是似然函式。
假設條件是模型的誤差服從獨立常態分配。
讓n為觀察數，SSR(SUM SQAURE OF RESIDUE)為殘差平方和，那么AIC變為： AIC=2k+nln(SSR/n)
增加自由參數的數目提高了擬合的優良性，AIC鼓勵數據擬合的優良性但是儘量避免出現過度擬合(Overfitting)的情況。所以優先考慮的模型應是AIC值最小的那一個。假設在n個模型中做出選擇，可一次算出n個模型的AIC值，並找出最小AIC值相對應的模型作為選擇對象。
赤池信息準則的方法是尋找可以最好地解釋數據但包含最少自由參數的模型。
提出背景
1971年由赤池弘次提出，該準則於1973年以概念簡介的形式發表。1974年首次出現在赤池弘次發表的正式論文中。截止2018年6月，該論文已被超過4萬次引用。
數學表達及套用
AIC公式如下圖所示。
其中e^(2k/T)為懲罰因子(penalty factor)。
AIC指標是常用的利用趨勢估計預測模型的指標之一，其他三種主要指標為Mean Squared Error (MSE)，s^2和Schwarz information criterion (SIC)。s^2和SIC的penalty factor依次為(T/T-K)及T^(k/T)。
假設自由度從0變動到0.2，s^2、AIC及SIC的懲罰因子的變化將如下圖所示：其中s^2的懲罰因子最為敏感，AIC次之，SIC的懲罰因子敏感度最低。
AIC的延伸套用
1. AICc
AICc首次由Sugiura提出，在樣本小的情況下，AIC轉變為AICc，公式如下圖:
Burnham和Anderson（2004）提出，當n增加時，AICc收斂成AIC。所以AICc可套用在任何樣本大小的情況下.
McQuarrie 和 Tsai（1998）把AICc定義為：
McQuarrie 和 Tsai提出的另一個緊密相關指標為AICu：
2. QAIC（Quasi-AIC）
QAIC公式表達為：
其中：c是方差膨脹因素。
因此QAIC可以調整過度離散（或者缺乏擬合）。
另外，在小樣本情況下, QAIC表示為：
