結構風險最小化

結構風險最小化(Structural Risk Minimization）是指把函式集構造為一個函式子集序列,使各個子集按照VC維的大小排列;在每個子集中尋找最小經驗風險,在子集間折中考慮經驗風險和置信範圍，取得實際風險的最小化。即SRM準則。

基本介紹

• 中文名：結構風險最小化
• 外文名：Structural Risk Minimization
• 簡稱：SRM
• 實質：統計學習理論提出了一種新的策略

基本思想

所謂的結構風險最小化就是在保證分類精度（經驗風險）的同時，降低學習機器的 VC 維，可以使學習機器在整個樣本集上的期望風險得到控制。

傳統機器學習方法中普遍採用的經驗風險最小化原則在樣本數目有限時是不合理的,因此，需要同時最小化經驗風險和置信範圍。

機器學習過程不但要使經驗風險最小，還要使VC維儘量小以縮小置信範圍，才能取得較小的實際風險，即對未來樣本有較好的推廣性。

統計學習理論提出了一種新的策略,即把函式集構造為一個函式子集序列,使各個子集按照VC維的大小排列;在每個子集中尋找最小經驗風險,在子集間折衷考慮經驗風險和置信範圍,取得實際風險的最小。這種思想稱作結構風險最小化(Structural Risk Minimization)，即SRM準則。

在有限訓練樣本下，學習機器的VC維越高則置信範圍越大,真實風險與經驗風險之間可能的差別越大.這就是為什麼會出現過學習現象的原因。

實現思路

實現SRM的思路之一就是設計函式集的某種結構使每個子集中都能取得最小的經驗風險（如使訓練誤差為0），然後只需選擇適當的子集使置信範圍最小，則這個子集中使經驗風險最小的函式就是最優函式。SVM方法實際上就是這種思想的具體實現。