基本介紹
- 中文名：機器學習
- 外文名：Machine Learning, ML
- 性質：多領域交叉學科
- 領域：機率論、統計學、逼近論
研究意義,發展史,主要策略,基本結構,代碼示例,分類,綜合分類,學習形式分類,研究領域,相關圖書1,基本信息,內容簡介,圖書特色,圖書前言,作品目錄,相關圖書2,基本信息,內容簡介,作者簡介,譯者簡介,
研究意義
學習是人類具有的一種重要智慧型行為，但究竟什麼是學習，長期以來卻眾說紛紜。社會學家、邏輯學家和心理學家都各有其不同的看法。
比如，Langley（1996) 定義的機器學習是“機器學習是一門人工智慧的科學，該領域的主要研究對象是人工智慧，特別是如何在經驗學習中改善具體算法的性能”。（Machine learning is a science of the artificial. The field's main objects of study are artifacts, specifically algorithms that improve their performance with experience.'）
Tom Mitchell的機器學習(1997)對資訊理論中的一些概念有詳細的解釋,其中定義機器學習時提到，“機器學習是對能通過經驗自動改進的計算機算法的研究”。（Machine Learning is the study of computer algorithms that improve automatically through experience.）
Alpaydin（2004）同時提出自己對機器學習的定義，“機器學習是用數據或以往的經驗，以此最佳化電腦程式的性能標準。”（Machine learning is programming computers to optimize a performance criterion using example data or past experience.）
儘管如此，為了便於進行討論和估計學科的進展，有必要對機器學習給出定義，即使這種定義是不完全的和不充分的。顧名思義， 機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍為嚴格的提法是：機器學習是一門研究機器獲取新知識和新技能，並識別現有知識的學問。這裡所說的“機器”，指的就是計算機，電子計算機，中子計算機、光子計算機或神經計算機等等。
機器能否象人類一樣能具有學習能力呢？1959年美國的塞繆爾(Samuel)設計了一個下棋程式，這個程式具有學習能力，它可以在不斷的對弈中改善自己的棋藝。4年後，這個程式戰勝了設計者本人。又過了3年，這個程式戰勝了美國一個保持8年之久的常勝不敗的冠軍。這個程式向人們展示了機器學習的能力，提出了許多令人深思的社會問題與哲學問題。
機器的能力是否能超過人的，很多持否定意見的人的一個主要論據是：機器是人造的，其性能和動作完全是由設計者規定的，因此無論如何其能力也不會超過設計者本人。這種意見對不具備學習能力的機器來說的確是對的，可是對具備學習能力的機器就值得考慮了，因為這種機器的能力在套用中不斷地提高，過一段時間之後，設計者本人也不知它的能力到了何種水平。
機器學習有下面幾種定義： “機器學習是一門人工智慧的科學，該領域的主要研究對象是人工智慧，特別是如何在經驗學習中改善具體算法的性能”。 “機器學習是對能通過經驗自動改進的計算機算法的研究”。 “機器學習是用數據或以往的經驗，以此最佳化電腦程式的性能標準。” 一種經常引用的英文定義是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
發展史
機器學習是人工智慧研究較為年輕的分支，它的發展過程大體上可分為4個時期。
第一階段是在20世紀50年代中葉到60年代中葉，屬於熱烈時期。
第二階段是在20世紀60年代中葉至70年代中葉，被稱為機器學習的冷靜時期。
第三階段是從20世紀70年代中葉至80年代中葉，稱為復興時期。
機器學習的最新階段始於1986年。
機器學習進入新階段的重要表現在下列諸方面：
(3) 機器學習與人工智慧各種基礎問題的統一性觀點正在形成。例如學習與問題求解結合進行、知識表達便於學習的觀點產生了通用智慧型系統SOAR的組塊學習。類比學習與問題求解結合的基於案例方法已成為經驗學習的重要方向。
(4) 各種學習方法的套用範圍不斷擴大，一部分已形成商品。歸納學習的知識獲取工具已在診斷分類型專家系統中廣泛使用。連線學習在聲圖文識別中占優勢。分析學習已用於設計綜合型專家系統。遺傳算法與強化學習在工程控制中有較好的套用前景。與符號系統耦合的神經網路連線學習將在企業的智慧型管理與智慧型機器人運動規劃中發揮作用。
(5) 與機器學習有關的學術活動空前活躍。國際上除每年一次的機器學習研討會外，還有計算機學習理論會議以及遺傳算法會議。
主要策略
學習是一項複雜的智慧型活動，學習過程與推理過程是緊密相連的，按照學習中使用推理的多少，機器學習所採用的策略大體上可分為4種——機械學習、通過傳授學習、類比學習和通過事例學習。學習中所用的推理越多，系統的能力越強。
基本結構
表示學習系統的基本結構。環境向系統的學習部分提供某些信息，學習部分利用這些信息修改知識庫，以增進系統執行部分完成任務的效能，執行部分根據知識庫完成任務，同時把獲得的信息反饋給學習部分。在具體的套用中，環境，知識庫和執行部分決定了具體的工作內容，學習部分所需要解決的問題完全由上述3部分確定。下面我們分別敘述這3部分對設計學習系統的影響。
影響學習系統設計的最重要的因素是環境向系統提供的信息。或者更具體地說是信息的質量。知識庫里存放的是指導執行部分動作的一般原則，但環境向學習系統提供的信息卻是各種各樣的。如果信息的質量比較高，與一般原則的差別比較小，則學習部分比較容易處理。如果向學習系統提供的是雜亂無章的指導執行具體動作的具體信息，則學習系統需要在獲得足夠數據之後，刪除不必要的細節，進行總結推廣，形成指導動作的一般原則，放入知識庫，這樣學習部分的任務就比較繁重，設計起來也較為困難。
因為學習系統獲得的信息往往是不完全的，所以學習系統所進行的推理並不完全是可靠的，它總結出來的規則可能正確，也可能不正確。這要通過執行效果加以檢驗。正確的規則能使系統的效能提高，應予保留；不正確的規則應予修改或從資料庫中刪除。
知識庫是影響學習系統設計的第二個因素。知識的表示有多種形式，比如特徵向量、一階邏輯語句、產生式規則、語義網路和框架等等。這些表示方式各有其特點，在選擇表示方式時要兼顧以下4個方面：
(1)表達能力強。
(2)易於推理。
(3)容易修改知識庫。
(4)知識表示易於擴展。
對於知識庫最後需要說明的一個問題是學習系統不能在全然沒有任何知識的情況下憑空獲取知識，每一個學習系統都要求具有某些知識理解環境提供的信息，分析比較，做出假設，檢驗並修改這些假設。因此，更確切地說，學習系統是對現有知識的擴展和改進。
執行部分是整個學習系統的核心，因為執行部分的動作就是學習部分力求改進的動作。同執行部分有關的問題有3個：複雜性、反饋和透明性。
代碼示例
//在gcc-4.7.2下編譯通過。//命令行：g++-Wall-ansi-O2test.cpp-otest#include<iostream>usingnamespacestd;voidinput(int&oper,constboolmeth){//meth為true則只判斷1，為false則判斷1或0while(true){cin>>oper;if(meth&&oper==1)break;elseif(oper==0||oper==1)break;cout<<"輸入錯誤，請重新輸入。"<<endl;//判斷參數cin.sync();//避免極端輸入導致死循環cin.clear();}}intmain(void){cout<<"1+1=2嗎？那要看您怎么教我了，不要驚訝我會學習的"<<endl;intladd,radd,aprs,rcnt(0),wcnt(0);//定義輸入與結果，正確次數與錯誤次數cout<<"開始學習……"<<endl;for(inti(0);i!=10;++i){cout<<"參數1（必須是1）："<<flush;//提示輸入參數input(ladd,true);cout<<"參數2（必須是1）："<<flush;input(radd,true);cout<<"結果："<<(ladd+radd)<<endl;//輸出結果cout<<"您對這滿意嗎（滿意輸入1，不滿意輸入0）："<<flush;//評價等級input(aprs,false);if(aprs)//判斷用戶評價++rcnt;else++wcnt;cout<<"正確次數："<<rcnt<<"錯誤次數："<<wcnt<<endl;//錯誤次數}if(rcnt>wcnt)//判斷學習結果cout<<"主人告訴我1+1=2。"<<endl;elseif(rcnt<wcnt)cout<<"主人告訴我1+1!=2。"<<endl;elsecout<<"我不明白主人是什麼意思。"<<endl;intterm;//退出部分cout<<"您對我的表現滿意嗎？滿意請輸入1不滿意請輸入0："<<flush;input(term,false);if(term)cout<<"謝謝我會繼續努力學習"<<endl;elsecout<<"謝謝我會繼續努力學習D"<<endl;//cin>>term;//在Windows上測試時啟用return0;}本程式將根據您的評價判斷執行結果 "1+1=2"
實際上僅用了最簡單的 if else for 語句
這就是一個機器學習的例子，通過環境影響來進行學習。
通過本例我們不難看出，在人工錯誤的引導下，機器會給出錯誤的答案 1+1不等於2。
所以此類學習方法，一定要在正確引導下實踐，否則會得到最壞的結果。
學習完畢後，計算機會記錄本次學習結果，存入資料庫，下次執行相應任務時，再將結果調出執行。
實際上僅用了最簡單的 if else for 語句
這就是一個機器學習的例子，通過環境影響來進行學習。
通過本例我們不難看出，在人工錯誤的引導下，機器會給出錯誤的答案 1+1不等於2。
所以此類學習方法，一定要在正確引導下實踐，否則會得到最壞的結果。
學習完畢後，計算機會記錄本次學習結果，存入資料庫，下次執行相應任務時，再將結果調出執行。
分類
基於學習策略的分類
學習策略是指學習過程中系統所採用的推理策略。一個學習系統總是由學習和環境兩部分組成。由環境（如書本或教師）提供信息，學習部分則實現信息轉換，用能夠理解的形式記憶下來，並從中獲取有用的信息。在學習過程中，學生（學習部分）使用的推理越少，他對教師（環境）的依賴就越大，教師的負擔也就越重。學習策略的分類標準就是根據學生實現信息轉換所需的推理多少和難易程度來分類的，依從簡單到複雜，從少到多的次序分為以下六種基本類型：
1）機械學習 (Rote learning)
學習者無需任何推理或其它的知識轉換，直接吸取環境所提供的信息。如塞繆爾的跳棋程式，紐厄爾和西蒙的LT系統。這類學習系統主要考慮的是如何索引存貯的知識並加以利用。系統的學習方法是直接通過事先編好、構造好的程式來學習，學習者不作任何工作，或者是通過直接接收既定的事實和數據進行學習，對輸入信息不作任何的推理。
2）示教學習 (Learning from instruction或Learning by being told)
學生從環境（教師或其它信息源如教科書等）獲取信息，把知識轉換成內部可使用的表示形式，並將新的知識和原有知識有機地結合為一體。所以要求學生有一定程度的推理能力，但環境仍要做大量的工作。教師以某種形式提出和組織知識，以使學生擁有的知識可以不斷地增加。這種學習方法和人類社會的學校教學方式相似，學習的任務就是建立一個系統，使它能接受教導和建議，並有效地存貯和套用學到的知識。不少專家系統在建立知識庫時使用這種方法去實現知識獲取。示教學習的一個典型套用例是FOO程式。
3）演繹學習 (Learning by deduction)
學生所用的推理形式為演繹推理。推理從公理出發，經過邏輯變換推導出結論。這種推理是"保真"變換和特化(specialization)的過程，使學生在推理過程中可以獲取有用的知識。這種學習方法包含宏操作(macro-operation)學習、知識編輯和組塊(Chunking)技術。演繹推理的逆過程是歸納推理。
4）類比學習 (Learning by analogy)
利用二個不同領域（源域、目標域）中的知識相似性，可以通過類比，從源域的知識（包括相似的特徵和其它性質）推導出目標域的相應知識，從而實現學習。類比學習系統可以使一個已有的計算機套用系統轉變為適應於新的領域，來完成原先沒有設計的相類似的功能。
類比學習需要比上述三種學習方式更多的推理。它一般要求先從知識源（源域）中檢索出可用的知識，再將其轉換成新的形式，用到新的狀況（目標域）中去。類比學習在人類科學技術發展史上起著重要作用，許多科學發現就是通過類比得到的。例如著名的盧瑟福類比就是通過將原子結構（目標域）同太陽系（源域）作類比，揭示了原子結構的奧秘。
5）基於解釋的學習 (Explanation-based learning, EBL)
學生根據教師提供的目標概念、該概念的一個例子、領域理論及可操作準則，首先構造一個解釋來說明為什麼該例子滿足目標概念，然後將解釋推廣為目標概念的一個滿足可操作準則的充分條件。EBL已被廣泛套用於知識庫求精和改善系統的性能。
6）歸納學習 (Learning from induction)
歸納學習是由教師或環境提供某概念的一些實例或反例，讓學生通過歸納推理得出該概念的一般描述。這種學習的推理工作量遠多於示教學習和演繹學習，因為環境並不提供一般性概念描述（如公理）。從某種程度上說，歸納學習的推理量也比類比學習大，因為沒有一個類似的概念可以作為"源概念"加以取用。歸納學習是最基本的，發展也較為成熟的學習方法，在人工智慧領域中已經得到廣泛的研究和套用。
基於所獲取知識的表示形式分類
學習系統獲取的知識可能有：行為規則、物理對象的描述、問題求解策略、各種分類及其它用於任務實現的知識類型。
對於學習中獲取的知識，主要有以下一些表示形式：
1）代數表達式參數
學習的目標是調節一個固定函式形式的代數表達式參數或係數來達到一個理想的性能。
2）決策樹
用決策樹來劃分物體的類屬，樹中每一內部節點對應一個物體屬性，而每一邊對應於這些屬性的可選值，樹的葉節點則對應於物體的每個基本分類。
3）形式文法
在識別一個特定語言的學習中，通過對該語言的一系列表達式進行歸納，形成該語言的形式文法。
4）產生式規則
產生式規則表示為條件—動作對，已被極為廣泛地使用。學習系統中的學習行為主要是：生成、泛化、特化（Specialization）或合成產生式規則。
5）形式邏輯表達式
形式邏輯表達式的基本成分是命題、謂詞、變數、約束變數範圍的語句，及嵌入的邏輯表達式。
6）圖和網路
有的系統採用圖匹配和圖轉換方案來有效地比較和索引知識。
7）框架和模式（schema）
每個框架包含一組槽，用於描述事物（概念和個體）的各個方面。
8）電腦程式和其它的過程編碼
獲取這種形式的知識，目的在於取得一種能實現特定過程的能力，而不是為了推斷該過程的內部結構。
9）神經網路
這主要用在聯接學習中。學習所獲取的知識，最後歸納為一個神經網路。
10）多種表示形式的組合
有時一個學習系統中獲取的知識需要綜合套用上述幾種知識表示形式。
根據表示的精細程度，可將知識表示形式分為兩大類：泛化程度高的粗粒度符號表示、??泛化程度低的精粒度亞符號(sub-symbolic)表示。像決策樹、形式文法、產生式規則、形式邏輯表達式、框架和模式等屬於符號表示類；而代數表達式參數、圖和網路、神經網路等則屬亞符號表示類。
按套用領域分類
最主要的套用領域有：專家系統、認知模擬、規劃和問題求解、數據挖掘、網路信息服務、圖象識別、故障診斷、自然語言理解、機器人和博弈等領域。
從機器學習的執行部分所反映的任務類型上看，大部分的套用研究領域基本上集中於以下兩個範疇：分類和問題求解。
（1）分類任務要求系統依據已知的分類知識對輸入的未知模式（該模式的描述）作分析，以確定輸入模式的類屬。相應的學習目標就是學習用於分類的準則（如分類規則）。
（2）問題求解任務要求對於給定的目標狀態,??尋找一個將當前狀態轉換為目標狀態的動作序列；機器學習在這一領域的研究工作大部分集中於通過學習來獲取能提高問題求解效率的知識（如搜尋控制知識，啟發式知識等）。
綜合分類
綜合考慮各種學習方法出現的歷史淵源、知識表示、推理策略、結果評估的相似性、研究人員交流的相對集中性以及套用領域等諸因素。將機器學習方法區分為以下六類：
1）經驗性歸納學習 (empirical inductive learning)
經驗性歸納學習採用一些數據密集的經驗方法（如版本空間法、ID3法，定律發現方法）對例子進行歸納學習。其例子和學習結果一般都採用屬性、謂詞、關係等符號表示。它相當於基於學習策略分類中的歸納學習，但扣除聯接學習、遺傳算法、加強學習的部分。
2）分析學習（analytic learning）
分析學習方法是從一個或少數幾個實例出發，運用領域知識進行分析。其主要特徵為：
·推理策略主要是演繹，而非歸納；
·使用過去的問題求解經驗（實例）指導新的問題求解，或產生能更有效地運用領域知識的搜尋控制規則。
分析學習的目標是改善系統的性能，而不是新的概念描述。分析學習包括套用解釋學習、演繹學習、多級結構組塊以及宏操作學習等技術。
3）類比學習
它相當於基於學習策略分類中的類比學習。在這一類型的學習中比較引人注目的研究是通過與過去經歷的具體事例作類比來學習，稱為基於範例的學習(case_based learning)，或簡稱範例學習。
4）遺傳算法（genetic algorithm）
遺傳算法模擬生物繁殖的突變、交換和達爾文的自然選擇（在每一生態環境中適者生存）。它把問題可能的解編碼為一個向量，稱為個體，向量的每一個元素稱為基因，並利用目標函式（相應於自然選擇標準）對群體（個體的集合）中的每一個個體進行評價，根據評價值（適應度）對個體進行選擇、交換、變異等遺傳操作，從而得到新的群體。遺傳算法適用於非常複雜和困難的環境，比如，帶有大量噪聲和無關數據、事物不斷更新、問題目標不能明顯和精確地定義，以及通過很長的執行過程才能確定當前行為的價值等。同神經網路一樣，遺傳算法的研究已經發展為人工智慧的一個獨立分支，其代表人物為霍勒德（J.H.Holland）。
5）聯接學習
典型的聯接模型實現為人工神經網路，其由稱為神經元的一些簡單計算單元以及單元間的加權聯接組成。
6）增強學習（reinforcement learning）
增強學習的特點是通過與環境的試探性（trial and error）互動來確定和最佳化動作的選擇，以實現所謂的序列決策任務。在這種任務中，學習機制通過選擇並執行動作，導致系統狀態的變化，並有可能得到某種強化信號（立即回報），從而實現與環境的互動。強化信號就是對系統行為的一種標量化的獎懲。系統學習的目標是尋找一個合適的動作選擇策略，即在任一給定的狀態下選擇哪種動作的方法，使產生的動作序列可獲得某種最優的結果（如累計立即回報最大）。
在綜合分類中,經驗歸納學習、遺傳算法、聯接學習和增強學習均屬於歸納學習，其中經驗歸納學習採用符號表示方式，而遺傳算法、聯接學習和加強學習則採用亞符號表示方式；分析學習屬於演繹學習。
實際上，類比策略可看成是歸納和演繹策略的綜合。因而最基本的學習策略只有歸納和演繹。
從學習內容的角度看，採用歸納策略的學習由於是對輸入進行歸納，所學習的知識顯然超過原有系統知識庫所能蘊涵的範圍,所學結果改變了系統的知識演繹閉包, 因而這種類型的學習又可稱為知識級學習;而採用演繹策略的學習儘管所學的知識能提高系統的效率，但仍能被原有系統的知識庫所蘊涵,即所學的知識未能改變系統的演繹閉包,因而這種類型的學習又被稱為符號級學習。
學習形式分類
1）監督學習(supervised learning)
監督學習，即在機械學習過程中提供對錯指示。一般是在數據組中包含最終結果（0，1）。通過算法讓機器自我減少誤差。這一類學習主要套用於分類和預測 (regression & classify)。監督學習從給定的訓練數據集中學習出一個函式，當新的數據到來時，可以根據這個函式預測結果。監督學習的訓練集要求是包括輸入和輸出，也可以說是特徵和目標。訓練集中的目標是由人標註的。常見的監督學習算法包括回歸分析和統計分類。
2）非監督學習(unsupervised learning)
非監督學習又稱歸納性學習（clustering）利用K方式(Kmeans)，建立中心（centriole），通過循環和遞減運算(iteration&descent)來減小誤差，達到分類的目的。
研究領域
機器學習領域的研究工作主要圍繞以下三個方面進行：
（1）面向任務的研究
研究和分析改進一組預定任務的執行性能的學習系統。
（2）認知模型
研究人類學習過程並進行計算機模擬。
（3）理論分析
從理論上探索各種可能的學習方法和獨立於套用領域的算法
機器學習是繼專家系統之後人工智慧套用的又一重要研究領域，也是人工智慧和神經計算的核心研究課題之一。現有的計算機系統和人工智慧系統沒有什麼學習能力，至多也只有非常有限的學習能力，因而不能滿足科技和生產提出的新要求。對機器學習的討論和機器學習研究的進展，必將促使人工智慧和整個科學技術的進一步發展 。
相關圖書1
基本信息
作者： | （美）Tom Mitchell | 語種： | 簡體中文 |
ISBN： | 7-111-10993-7 | 開本： | 16開 |
定價： | 35.00元 | 原書名： | Machine Learning |
頁數： | 280 | 屬性分類： | 教材 |
出版日期： | 2003-01-01 | 所屬叢書： | 計算機類叢書 |
譯者： | 曾華軍 張銀奎 等 | 試用專業： | 計算機 |
圖書分類： | 計算機>人工智慧>綜合 | 包含CD： | 否 |
原出版社： | 無 | 出版社： | 機械工業出版社 |
絕版： | 否 |
內容簡介
本書展示了機器學習中核心的算法和理論，並闡明了算法的運行過程。本書綜合了許多的研究成果，例如統計學、人工智慧、哲學、資訊理論、生物學、認知科學、計算複雜性和控制論等，並以此來理解問題的背景、算法和其中的隱含假定。本書可作為計算機專業
本科生、研究生教材，也可作為相關領域研究人員、教師的參考書。
圖書特色
TOM M.Mitchell是卡內基梅隆大學的教授，講授“機器(AAA)的主席：美國《Machine Learning》雜誌、國際機器學習年度會議（ICML）的創始人：多種技術雜誌的撰稿人，曾發表過許多文章，出版過多本專著，是機器學習領域的著名學者。
圖書前言
機器學習這門學科所關注的問題是：電腦程式如何隨著經驗積累自動提高性能。機器學習已經被成功地套用於很多領域，從檢測信用卡交易欺詐的數據挖掘程式，到獲取戶閱讀興趣的信息過濾系統，再到能在高速公路上自動行駛的汽車。同時，這個學科的基理論和算法也有了重大進展。
這本教材的目標是展現機器學習中核心的算法和理論。機器學習從很多學科吸收了成果和概念，包括統計學、人工智慧、哲學、資訊理論、生物學、認知科學、計算複雜性和控制等。筆者相信，研究機器學習的最佳途徑是從這些學科的觀點看待機器學習，並且以此來理解問題的背景、算法以及其中隱含的假定。這些在以往很難做到，因為在這一領域缺少包容廣泛的原始資料，本書的主要目的就是提供這樣的一份資料。
由於素材的多學科性，本書不要求讀者具有相應的知識背景，而是在必要時介紹其他一些學科的基本概念，如統計學、人工智慧、資訊理論等。介紹的重點是與機器學習關係最密切甲那些概念。本書可以作為計算機科學與工程、統計學和社會科學等專業的大學生或研究生的教材，也可作為軟體研究人員或從業人員的參考資料。
指導本書寫作的兩條原則為：第一，它是在校大學生可以理解的；第二，它應該包含我希望我自己的博士生在開始他們的器學習研究前要掌握的內容。
指導本書寫作的第三條原則是：它應該體現理論和實踐間的均衡。機器學習理論致力於回答這樣的問題“學習性能是怎樣隨著給定的訓練樣例的數量而變化的?”和“對於各種同類型的學習任務：哪個學習算法最適合?”利用來自統計學、計算複雜性和貝葉斯分析的理論成果，這本書討論了這一類理論問題。同時本書也涵蓋很多實踐方面的內容：介紹了這一領域的主要算法，闡明了算法的運行過程。
其中一些算法的實現和數據可以在網際網路上通過網址http：//www．cs．cmu．edu/-tom/mlbook．html得到，包括用於人臉識別的神經網路的原始碼和數據、用於信貸分析的決策樹學習的原始碼和數據及分析文本文檔的貝葉分類器的原始碼和數據。我很感謝那些幫助我創建這些線上資源的同事，他們是：Jason Rennie、Paul Hsiung、Jeff Shufelt、Matt Glickman、Scott Davies、Joseph O’Sullivan、Ken Lang\Andrew McCallum和Thorsten Joachims。
作品目錄
第1章 引言
1．1 學習問題的標準描述
1．2 設計-個學習系統
1．2．1 選擇訓練經驗
1．2．2 選擇目標函式
1．2．3 選擇目標函式的表示
1. 2．4 選擇函式逼近算法
1．2．5 最終設計
1．3 機器學習的一些觀點和問題
1．4 如何閱讀本書
1．5 小結和補充讀物
習題
第2章 概念學習和一般到特殊序
2．1 簡介
2．2 概念學習任務
2．2．1 術語定義
2．2．2 歸納學習假設
2．3 作為搜尋的概念學習
2．4 FIND-S：尋找極大特殊假設
2．5 變型空間和候選消除算法
2．5．1 表示
2．5．2 列表後消除算法
2．5．3 變型空間的更簡潔表示
2．5．4 候選消除學習算法
2．5．5 算法的舉例
2．6 關於變型空間和候選消除的說明
2．6．1 候選消除算法是否會收斂到正確的假設
2．6．2 下一步需要什麼樣的訓練樣例
2．6．3 怎樣使用不完全學習概念
2．7 歸納偏置
2．7．1 -個有偏的假設空間
2．7．2 無偏的學習器
2．7．3 無偏學習的無用性
2．8 小始和補充讀物
習題
第3章 決策樹學習
3．1 簡介
3．2 決策樹表示法
3．3 決策樹學習的適用問題
3．4 基本的決策樹學習算法
3．4．1 哪個屬性是最佳的分類屬性
3．4．2 舉例
3．5 決策樹學習中的假設空間搜尋
3．6 決策樹學習的歸納偏置
3．6．1 限定偏置和優選偏置
3．6．2 為什麼短的假設優先
3．7 決策樹學習的常見問題
3．7．1 避免過度擬合數據
3. 7．2 合併連續值屬性
3．7．3 屬性選擇的其他度量標準
3．7．4 處理缺少屬性值的訓練樣例
3．7．5 處理不同代價的屬性
3．8 小結和補充讀物
習題
第4章 人工神經網路
4．1 簡介
4．2 神經網路表示
4．3 適合神經網路學習的問題
4．4 感知器
4．4．1 感知器的表征能力
4. 4．2 感知器訓練法則
4．4．3 梯度下降和delta法則
4．4．4 小結
4．5 多層網路和反向傳播算法
4．5．1 可微閾值單元
4．5．2 反向傳播算法
4．5．3 反向傳播法則的推導
4．6 反向傳播算法的說明
4．6．1 收斂性和局部極小值
4．6．2 前饋網路的表征能力
4．6．3 假設空間搜尋和歸納偏置
4．6．4 隱藏層表示
4．6．5 泛化、過度擬合和停止判據
4．7 舉例：人臉識別
4．7．1 任務
4．7．2 設計要素
4．7．3 學習到的隱藏層表示
4．8 人工神經網路的高級課題
4．8．1 其他可選的誤差函式
4．8．2 其他可選的誤差最小化過程
4．8．3 遞歸網路
4．8．4 動態修改網路結構
4．9 小結和補充讀物
習題
第5章 評估假設
5．1 動機
5．2 估計假設精度
5．2．1 樣本錯誤率和真實錯誤率
5．2．2 離散值假設的置信區間
5．3 採樣理論基礎
5．3．1 錯誤率估計和二項比例估計
5．3．2 二項分布
5．3．3 均值和方差
5．3．4 估計量、偏差和方差
5．3．5 置信區間
5．3．6 雙側和單側邊界
5．4 推導置信區間的一般方法
5．5 兩個假設錯誤率間的差異
5．6 學習算法比較
5．6. 1 配對t測試
5．6．2 實際考慮
5．7 小結和補充讀物
習題
第6章 貝葉斯學習
6．1 簡介
6．2 貝葉斯法則
6．3 貝葉斯法則和概念學習
6．3．1 BRUTE-FORCE貝葉斯概念學習
6．3．2 MAP假設和一致學習器
6．4 極大似然和最小誤差平方假設
6．5 用於預測機率的極大似然假設
6．6 最小描述長度準則
6．7 貝葉斯最優分類器
6．8 GIBBS算法
6．9 樸素貝葉斯分類器
6．10 舉例：學習分類文本
6．11 貝葉斯信念網
6．11．1 條件獨立性
6．11．2 表示
6．11．3 推理
6．11．4 學習貝葉斯信念網
6．11．5 貝葉斯網的梯度上升訓練
6．11．6 學習貝葉斯網的結構
6．12 EM算法
6．12．1 估計k個高斯分布的均值
6．12．2 EM算法的一般表述
6．12．3 k均值算法的推導
6．13 小結和補充讀物
習題
第7章 計算學習理論
7．1 簡介
7．2 可能學習近似正確假設
7．2．1 問題框架
7．2．2 假設的錯誤率
7．2．3 PAC可學習性
7．3 有限假設空間的樣本複雜度
7．3．1 不可知學習和不一致假設
7．3．2 布爾文字的合取是PAC可學習的
7．3．3 其他概念類別的PAC可學習性
7．4 無限假設空間的樣本複雜度
7．4．1 打散一個實例集合
7．4．2 Vapnik-Chervonenkis維度
7．4．3 樣本複雜度和VC維
7．4．4 神經網路的VC維
7．5 學習的出錯界限模型
7．5．1 FIND-S算法的出錯界限
7．5．2 HALVING算法的出錯界限
7．5．3 最優出錯界限
7．5．4 加權多數算法
7．6 小結和補充讀物
習題
第8章 基於實例的學習
8．1 簡介
8．2 k-近鄰算法
8．2．1 距離加權最近鄰算法
8．2．2 對k-近鄰算法的說明
8．2．3 術語註解
8．3 局部加權回歸
8．3．1 局部加權線性回歸
8．3．2 局部加權回歸的說明
8．4 徑向基函式
8．5 基於案例的推理
8．6 對消極學習和積極學習的評論
8．7 小結和補充讀物
習題
第9章 遺傳算法
9．1 動機
9．2 遺傳算法
9．2．1 表示假設
9．2．2 遺傳運算元
9．2．3 適應度函式和假設選擇
9．3 舉例
9．4 假設空間搜尋
9．5 遺傳編程
9．5．1 程式表示
9．5．2 舉例
9．5．3 遺傳編程說明
9．6 進化和學習模型
9．6．1 拉馬克進化
9．6．2 鮑德溫效應
9．7 並行遺傳算法
9．8 小結和補充讀物
習題
第10章 學習規則集合
10．1 簡介
10．2 序列覆蓋算法
10．2．1 一般到特殊的柱狀搜尋
10．2．2 幾種變型
10．3 學習規則集：小結
10．4 學習一階規則
10．4．1 一階Horn子句
10．4．2 術語
10．5 學習一階規則集：FOIL
10．5．1 FOIL中的候選特化式的生成
10．5．2 引導FOIL的搜尋
10．5．3 學習遞歸規則集
10．5．4 FOIL小結
10．6 作為逆演繹的歸納
10．7 逆歸納
10．7．1 一階歸納
10．7．2 逆歸納：一階情況
10．7．3 逆歸納小結
10．7．4 泛化、-包容和涵蘊
10．7．5 PROGOL
10．8 小結和補充讀物
習題
第11章 分析學習
11．1 簡介
11．2 用完美的領域理論學習：PROLOG-EBG
11．3 對基於解釋的學習的說明
11．3．1 發現新特徵
11．3．2 演繹學習
11．3．3 基於解釋的學習的歸納偏置
11．3．4 知識級的學習
11．4 搜尋控制知識的基於解釋的學習
11．5 小結和補充讀物
習題
第12章 歸納和分析學習的結合
12．1 動機
12．2 學習的歸納-分析途徑
12．2．1 學習問題
12．2．2 假設空間搜尋
12．3 使用先驗知識得到初始假設
12．3．1 KBANN算法
12．3．2 舉例
12．3．3 說明
12．4 使用先驗知識改變搜尋目標
12．4．1 TANGENTPROP算法
12．4．2 舉例
12．4．3 說明
12．4．4 EBNN算法
12．4．5 說明
12．5 使用先驗知識來擴展搜尋運算元
12．5．1 FOCL算法
12．5．2 說明
12．6 研究現狀
12．7 小結和補充讀物
習題
第13章 增強學習
13．1 簡介
13．2 學習任務
13．3 Q學習
13．3．1 Q函式
13．3．2 一個學習Q的算法
13．3．3 舉例
13．3．4 收斂性
13．3．5 實驗策略
13．3．6 更新序列
13．4 非確定性回報和動作
13．5 時間差分學習
13．6 從樣例中泛化
13．7 與動態規劃的聯樂
13．8 小結和補充讀物
習題
附錄 符號約定
相關圖書2
基本信息
原作名:Machine Learning for Hackers
內容簡介
這本書為機器學習技術提供了一些非常棒的案例研究。它並不想成為一本關於機器學習的工具書或者理論書籍，它注重的是一個學習的過程，因而對於任何有一些編程背景和定量思維的人來說，它都是不錯的選擇。
——Max Shron OkCupid
機器學習是計算機科學和人工智慧中非常重要的一個研究領域，機器學習不但在計算機科學的眾多領域中大顯身手，而且成為一些交叉學科的重要支撐技術。本書比較全面系統地介紹了機器學習的方法和技術，不僅詳細闡述了許多經典的學習方法，還討論了一些有生命力的新理論、新方法。全書案例既有分類問題，也有回歸問題；既包含監督學習，也涵蓋無監督學習。本書討論的案例從分類講到回歸，然後討論了聚類、降維、最最佳化問題等。這些案例包括分類：垃圾郵件識別，排序：智慧型收件箱，回歸模型：預測網頁訪問量，正則化：文本回歸，最最佳化：密碼破解，無監督學習：構建股票市場指數，空間相似度：用投票記錄對美國參議員聚類，推薦系統：給用戶推薦R語言包，社交網路分析：在Twitter上感興趣的人，模型比較：給你的問題找到最佳算法。各章對原理的敘述力求概念清晰、表達準確，突出理論聯繫實際，富有啟發性，易於理解。在探索這些案例的過程中用到的基本工具就是R統計程式語言。R語言非常適合用於機器學習的案例研究，因為它是一種用於數據分析的高水平、功能性腳本語言。
本書主要內容：
- 開發一個樸素貝葉斯分類器，僅僅根據郵件的文本信息來判斷這封郵件是否是垃圾郵件；
- 使用線性回歸來預測網際網路排名前1000網站的PV；
- 利用文本回歸理解圖書中詞與詞之間的關係；
- 通過嘗試破譯一個簡單的密碼來學習最佳化技術；
- 利用無監督學習構建股票市場指數，用於衡量整體市場行情的好壞；
- 根據美國參議院的投票情況，從統計學的角度對美國參議員聚類；
- 通過K近鄰算法構建向用戶推薦R語言包；
- 利用Twitter數據來構建一個“你可能感興趣的人”的推薦系統；
- 模型比較：給你的問題找到最佳算法。
作者簡介
Drew Conway 機器學習專家，擁有豐富的數據分析與處理工作經驗。主要利用數學、統計學和計算機技術研究國際關係、衝突和恐怖主義等。他曾作為研究員在美國情報和國防部門供職數年。他擁有紐約大學政治系博士學位，曾為多種雜誌撰寫文章，是機器學習領域的著名學者。
John Myles White 機器學習專家，擁有豐富的數據分析與處理工作經驗。主要從理論和實驗的角度來研究人類如何做出決定，同時還是幾個流行的R語言程式包的主要維護者，包括ProjectTemplate和log4r。他擁有普林斯頓大學哲學系博士學位，曾為多家技術雜誌撰稿，發表過許多關於機器學習的論文，並在眾多國際會議上發表演講。
譯者簡介
羅森林
博士，教授，博導。現任北京理工大學信息系統及安全對抗實驗中心主任、專業責任教授。國防科技工業局科學技術委員會成員；《中國醫學影像技術雜誌》、《中國介入影像與治療學》編委會委員；全國大學生信息安全技術專題邀請賽專家組副組長；中國人工智慧學會智慧型信息安全專業委員會委員等。主要研究方向為信息安全、數據挖掘、媒體計算、中文信息處理等。負責或參加完成國家自然科學基金、國家科技支撐計畫、863計畫、國家242計畫等省部級以上項目40餘項。已發表學術論文90餘篇，出版著作8部，出版譯著1部，獲授權專利3項。
陳開江
新浪微博搜尋部研發工程師，曾獨立負責微博內容反垃圾系統、微博精選內容挖掘算法、自助客服系統（包括自動回復、主動挖掘、輿情監測）等項目，主要從事社交挖掘、推薦算法研究、機器學習、自然語言處理相關工作，研究興趣是社交網路的個性化推薦。
劉逸哲
阿里巴巴，CBU基礎平台部搜尋與推薦團隊核心技術與query分析方向負責人，機器學習技術領域及圈子負責人。曾任中國雅虎相關性團隊、自然語言處理團隊算法工程師；AvePoint.inc開發工程師，從事企業級搜尋引擎開發。研究興趣是機器學習、自然語言處理及個性化推薦等算法在大規模數據上的套用。
孟曉楠
一淘廣告技術，阿里非搜尋廣告算法負責人，負責用戶行為分析、建模與細分，RTB競價算法，展示廣告CTR預估與SEM最佳化。曾工作於網易杭州研究院，參與過分散式全文檢索系統和網易部落格產品的數據挖掘算法開發。研究興趣是計算廣告技術、機器學習、大數據技術、信息檢索等。
