統計學習方法

《統計學習方法》是2012年清華大學出版社出版的圖書，作者是李航。本書全面系統地介紹了統計學習的主要方法，適用於高等院校文本數據挖掘、信息檢索及自然語言處理等專業的大學生、研究生，也可供從事計算機套用相關專業的研發人員參考。

基本介紹

• 書名：統計學習方法
• 作者：李航
• ISBN：9787302275954
• 頁數：235頁
• 出版社：清華大學出版社
• 出版時間：2012 年3月
• 開本：16開

內容簡介

統計學習是計算機及其套用領域的一門重要的學科。本書全面系統地介紹了統計學習的主要方法，特別是監督學習方法，包括感知機、k近鄰法、樸素貝葉斯法、決策樹、邏輯斯諦回歸與最大熵模型、支持向量機、提升方法、em算法、隱馬爾可夫模型和條件隨機場等。除第1章概論和最後一章總結外，每章介紹一種方法。敘述從具體問題或實例入手，由淺入深，闡明思路，給出必要的數學推導，便於讀者掌握統計學習方法的實質，學會運用。為滿足讀者進一步學習的需要，書中還介紹了一些相關研究，給出了少量習題，列出了主要參考文獻。

《統計學習方法》是統計學習及相關課程的教學參考書，適用於高等院校文本數據挖掘、信息檢索及自然語言處理等專業的大學生、研究生，也可供從事計算機套用相關專業的研發人員參考。

作品目錄

《統計學習方法》

第1章統計學習方法概論

1.1統計學習

1.2監督學習

1.2.1基本概念

1.2.2問題的形式化

1.3統計學習三要素

1.3.1模型

1.3.2策略

1.3.3算法

1.4模型評估與模型選擇

1.4.1訓練誤差與測試誤差

1.4.2過擬合與模型選擇

1.5i~則化與交叉驗證

1.5.1正則化

1.5.2交叉驗證

1.6泛化能力

1.6.1泛化誤差

1.6.2泛化誤差上界

1.7生成模型與判別模型

.1.8分類問題

1.9標註問題

1.10回歸問題

本章概要

繼續閱讀

習題

參考文獻

第2章感知機

2.1感知機模型

2.2感知機學習策略

2.2.1數據集的線性可分性

2.2.2感知機學習策略

2.3感知機學習算法

2.3.1感知機學習算法的原始形式

2.3.2算法的收斂性

2.3.3感知機學習算法的對偶形式

本章概要

繼續閱讀

習題

參考文獻

第3章眾近鄰法

3.1 k近鄰算法

3.2 k近鄰模型

3.2.1模型

3.2.2距離度量

·3.2.3 k值的選擇

3.2.4分類決策規則

3.3k近鄰法的實現：kd樹

3.3.1構造af樹

3.3.2搜尋af樹

本章概要

繼續閱讀

習題

參考文獻

第4章樸素貝葉斯法

4.1樸素貝葉斯法的學習與分類

4.1.1基本方法

4.1.2後驗機率最大化的含義

4.2樸素貝葉斯法的參數估計

4.2.1極大似然估計

4.2.2學習與分類算法

4.2.3貝葉斯估計

本章概要

繼續閱讀

習題

參考文獻

第5章決策樹

5.1決策樹模型與學習

5.1.1決策樹模型

5.1.2決策樹與isthen規則

5.1.3決策樹與條件機率分布

5.1.4決策樹學習

5.2特徵選擇

5.2.1特徵選擇問題

5.2.2信息增益

5.2.3信息增益比

5.3決策樹的生成

5.3.11d3算法

5.3.2 c4.5的生成算法

5.4決策樹的剪枝

5.5cart算法

5.5.1cart生成

5.5.2cart剪枝

本章概要

繼續閱讀

習題

參考文獻

第6章邏輯斯諦回歸與最大熵模型

6.1邏輯斯諦回歸模型

6.1.1邏輯斯諦分布

6.1.2項邏輯斯諦回歸模型

6.1.3模型參數估計

6.1.4多項邏輯斯諦回歸

6.2最大熵模型

6.2.1最大熵原理

6.2.2最大熵模型的定義

6.2.3最大熵模型的學習

6.2.4極大似然估計

6.3模型學習的最最佳化算法

6.3.1改進的疊代尺度法

6.3.2擬牛頓法

本章概要

繼續閱讀

習題

參考文獻

第7章支持向量機

7.1線性可分支持向量機與硬間隔最大化

7.1.1線性可分支持向量機

7.1.2函式間隔和幾何間隔

7.1.3間隔最大化

7.1.4學習的對偶算法

7.2線性支持向量機與軟間隔最大化

7.2.1線性支持向量機

7.2.2學習的對偶算法

7.2.3支持向量

7.2.4合頁損失函式

7.3非線性支持向量機與核函式

7.3.1核技巧

7.3.2定核

7.3.3常用核函式

7.3.4非線性支持向量分類機

7.4序列最小最最佳化算法

7.4.1兩個變數二次規劃的求解方法

7.4.2變數的選擇方法

7.4.3smo算法

本章概要

繼續閱讀

習題

參考文獻

第8章提升方法

8.1提升方法adaboost算法

8.1.1提升方法的基本思路

8.1.2adaboost算法

8.1.3 adaboost的例子

8.2adaboost算法的訓練誤差分析

8.3 adaboost算法的解釋

8.3.1前向分步算法

8.3.2前向分步算法與ad9boost

8.4提升樹

8.4.1提升樹模型

8.4.2提升樹算法

8.4.3梯度提升

本章概要

繼續閱讀

習題

參考文獻

第9章em算法及其推廣

9.1em算法的引入

9.1.1em算法

9.1.2em算法的導出

9.1.3em算法在非監督學習中的套用

9.2em算法的收斂性

9.3em算法在高斯混合模型學習中的套用

9.3.1高斯混合模型

9.3.2高斯混合模型參數估計的em算法

9.4em算法的推廣

9.4.1f函式的極大極大算法

9.4.2gem算法

本章概要

繼續閱讀

習題

參考文獻

第10章隱馬爾可夫模型

10.1隱馬爾可夫模型的基本概念

10.1.1隱馬爾可夫模型的定義

10.1.2觀測序列的生成過程

10.1.3隱馬爾可夫模型的3個基本問題

10.2機率計算算法

10.2.1直接計算法

10.2.2前向算法

10.2.3後向算法

10.2.4一些機率與期望值的計算

10.3學習算法

10.3.1監督學習方法

10.3.2baum-welch算法

10.3.3baum-welch模型參數估計公式

10.4預測算法

10.4.1近似算法

10.4.2維特比算法

本章概要

繼續閱讀

習題

參考文獻

第11章條件隨機場

11.1機率無向圖模型

11.1.1模型定義

11.1.2機率無向圖模型的因子分解

11.2條件隨機場的定義與形式

11.2.1條件隨機場的定義

11.2.2條件隨機場的參數化形式

11.2.3條件隨機場的簡化形式

11.2.4條件隨機場的矩陣形式

11.3條件隨機場的機率計算問題

11.3.1前向後向算法

11.3.2機率計算

11.3.3期望值的計算

11.4條件隨機場的學習算法

11.4.1改進的疊代尺度法

11.4.2擬牛頓法

11.5條件隨機場的預測算法

本章概要

繼續閱讀

習題

參考文獻

第12章統計學習方法總結

附錄a梯度下降法

附錄b牛頓法和擬牛頓法

附錄c拉格朗日對偶性

索引