基本介紹
- 中文名：模式識別
- 外文名：Pattern Recognition
- 模式識別方法：決策理論方法 句法方法
- 識別的套用：文字識別
- 發展潛力：語音識別技術
- 問題分類：作模式分類
定義,研究進展,簡史,問題分類,方法,決策理論方法,句法方法,統計模式識別,套用,發展潛力,
定義
人們在觀察事物或現象的時候，常常要尋找它與其他事物或現象的不同之處，並根據一定的目的把各個相似的但又不完全相同的事物或現象組成一類。字元識別就是一個典型的例子。例如數字“4”可以有各種寫法，但都屬於同一類別。更為重要的是，即使對於某種寫法的“4”，以前雖未見過，也能把它分到“4”所屬的這一類別。人腦的這種思維能力就構成了“模式”的概念。在上述例子中，模式和集合的概念是分開來的，只要認識這個集合中的有限數量的事物或現象，就可以識別屬於這個集合的任意多的事物或現象。為了強調從一些個別的事物或現象推斷出事物或現象的總體，我們把這樣一些個別的事物或現象叫作各個模式。也有的學者認為應該把整個的類別叫作模式，這樣的“模式”是一種抽象化的概念，如“房屋”等都是“模式”，而把具體的對象，如人民大會堂，叫作“房屋”這類模式中的一個樣本。這種名詞上的不同含義是容易從上下文中弄清楚的。
模式識別是人類的一項基本智慧型，在日常生活中，人們經常在進行“模式識別”。隨著20世紀40年代計算機的出現以及50年代人工智慧的興起，人們當然也希望能用計算機來代替或擴展人類的部分腦力勞動。(計算機)模式識別在20世紀60年代初迅速發展並成為一門新學科。
模式識別是指對表征事物或現象的各種形式的(數值的、文字的和邏輯關係的)信息進行處理和分析，以對事物或現象進行描述、辨認、分類和解釋的過程，是信息科學和人工智慧的重要組成部分。
研究進展
模式識別研究主要集中在兩方面，一是研究生物體(包括人)是如何感知對象的，屬於認識科學的範疇，二是在給定的任務下，如何用計算機實現模式識別的理論和方法。前者是生理學家、心理學家、生物學家和神經生理學家的研究內容，後者通過數學家、信息學專家和計算機科學工作者近幾十年來的努力，已經取得了系統的研究成果。
模式識別套用計算機對一組事件或過程進行辨識和分類，所識別的事件或過程可以是文字、聲音、圖像等具體對象，也可以是狀態、程度等抽象對象。這些對象與數字形式的信息相區別，稱為模式信息。
模式識別所分類的類別數目由特定的識別問題決定。有時，開始時無法得知實際的類別數，需要識別系統反覆觀測被識別對象以後確定。
模式識別與統計學、心理學、語言學、 計算機科學 、生物學、控制論等都有關係。它與 人工智慧 、 圖像處理 的研究有交叉關係。例如自適應或自組織的模式識別系統包含了人工智慧的學習機制；人工智慧研究的景物理解、自然語言理解也包含模式識別問題。又如模式識別中的預處理和特徵抽取環節套用圖像處理的技術；圖像處理中的圖像分析也套用模式識別的技術。
簡史
早期的模式識別研究著重在數學方法上。20世紀50年代末，F．羅森布拉特提出了一種簡化的模擬人腦進行識別的數學模型——感知器，初步實現了通過給定類別的各個樣本對識別系統進行訓練，使系統在學習完畢後具有對其他未知類別的模式進行正確分類的能力。1957年，周紹康提出用統計決策理論方法求解模式識別問題，促進了從50年代末開始的模式識別研究工作的迅速發展。1962年，R．納拉西曼提出了一種基於基元關係的句法識別方法。付京孫(K．S． Fu）在笮的理論及套用兩方^行了系統的卓有成效的研究，並於1974年出版了一本專著《句法模式識別及其套用》。1982年和1984年，J．荷甫菲爾德發表了兩篇重要論文，深刻揭示出人工神經元，網路所具有的聯想存儲和計算能力，進一步推動了模式識別的研究工作，短短几年在很多套用方面就取得了顯著成果，從而形成了模式識別的人工神經元網路方法的新的學科方向。
問題分類
模式識別又常稱作模式分類，從處理問題的性質和解決問題的方法等角度，模式識別分為有監督的分類（Supervised Classification）和無監督的分類(Unsupervised Classification)兩種。二者的主要差別在於，各實驗樣本所屬的類別是否預先已知。一般說來，有監督的分類往往需要提供大量已知類別的樣本，但在實際問題中，這是存在一定困難的，因此研究無監督的分類就變得十分有必要了。
模式還可分成抽象的和具體的兩種形式。前者如意識、思想、議論等，屬於概念識別研究的範疇，是人工智慧的另一研究分支。我們所指的模式識別主要是對語音波形、地震波、心電圖、腦電圖、圖片、照片、文字、符號、生物感測器等對象的具體模式進行辨識和分類。
方法
決策理論方法
又稱統計方法，是發展較早也比較成熟的一種方法。被識別對象首先數位化，變換為適於計算機處理的數字信息。一個模式常常要用很大的信息量來表示。許多模式識別系統在數位化環節之後還進行預處理，用於除去混入的干擾信息並減少某些變形和失真。隨後是進行特徵抽取，即從數位化後或預處理後的輸入模式中抽取一組特徵。所謂特徵是選定的一種度量，它對於一般的變形和失真保持不變或幾乎不變，並且只含儘可能少的冗餘信息。特徵抽取過程將輸入模式從對象空間映射到特徵空間。這時，模式可用特徵空間中的一個點或一個特徵矢量表示。這種映射不僅壓縮了信息量，而且易於分類。在決策理論方法中，特徵抽取占有重要的地位，但尚無通用的理論指導，只能通過分析具體識別對象決定選取何種特徵。特徵抽取後可進行分類，即從特徵空間再映射到決策空間。為此而引入鑑別函式，由特徵矢量計算出相應於各類別的鑑別函式值，通過鑑別函式值的比較實行分類。
句法方法
又稱結構方法或語言學方法。其基本思想是把一個模式描述為較簡單的子模式的組合，子模式又可描述為更簡單的子模式的組合，最終得到一個樹形的結構描述，在底層的最簡單的子模式稱為模式基元。在句法方法中選取基元的問題相當於在決策理論方法中選取特徵的問題。通常要求所選的基元能對模式提供一個緊湊的反映其結構關係的描述，又要易於用非句法方法加以抽取。顯然，基元本身不應該含有重要的結構信息。模式以一組基元和它們的組合關係來描述，稱為模式描述語句，這相當於在語言中，句子和短語用詞組合，詞用字元組合一樣。基元組合成模式的規則，由所謂語法來指定。一旦基元被鑑別，識別過程可通過句法分析進行，即分析給定的模式語句是否符合指定的語法，滿足某類語法的即被分入該類。
模式識別方法的選擇取決於問題的性質。如果被識別的對象極為複雜，而且包含豐富的結構信息，一般採用句法方法；被識別對象不很複雜或不含明顯的結構信息，一般採用決策理論方法。這兩種方法不能截然分開，在句法方法中，基元本身就是用決策理論方法抽取的。在套用中，將這兩種方法結合起來分別施加於不同的層次，常能收到較好的效果。
統計模式識別
統計模式識別(statistic pattern recognition)的基本原理是：有相似性的樣本在模式空間中互相接近，並形成“集團”，即“物以類聚”。其分析方法是根據模式所測得的特徵向量Xi=(xi1，xi2，…，xid)T(i=1，2，…，N)，將一個給定的模式歸入C個類ω1，ω2，…， ωc中，然後根據模式之間的距離函式來判別分類。其中，T表示轉置；N為樣本點數；d為樣本特徵數。
統計模式識別的主要方法有：判別函式法，近鄰分類法，非線性映射法，特徵分析法，主因子分析法等。
在統計模式識別中，貝葉斯決策規則從理論上解決了最優分類器的設計問題，但其實施卻必須首先解決更困難的機率密度估計問題。BP神經網路直接從觀測數據(訓練樣本)學習，是更簡便有效的方法，因而獲得了廣泛的套用，但它是一種啟發式技術，缺乏指定工程實踐的堅實理論基礎。統計推斷理論研究所取得的突破性成果導致現代統計學習理論——VC理論的建立，該理論不僅在嚴格的數學基礎上圓滿地回答了人工神經網路中出現的理論問題，而且導出了一種新的學習方法——支持向量機（SVM）。
套用
模式識別可用於文字和語音識別、遙感和醫學診斷等方面。
① 文字識別
漢字已有數千年的歷史，也是世界上使用人數最多的文字，對於中華民族燦爛文化的形成和發展有著不可磨滅的功勳。所以在信息技術及計算機技術日益普及的今天，如何將文字方便、快速地輸入到計算機中已成為影響人機接口效率的一個重要瓶頸，也關係到計算機能否真正在我國得到普及的套用。目前，漢字輸入主要分為人工鍵盤輸入和機器自動識別輸入兩種。其中人工鍵入速度慢而且勞動強度大；自動輸入又分為漢字識別輸入及語音識別輸入。從識別技術的難度來說，手寫體識別的難度高於印刷體識別，而在手寫體識別中，脫機手寫體的難度又遠遠超過了在線上手寫體識別。到目前為止，除了脫機手寫體數字的識別已有實際套用外，漢字等文字的脫機手寫體識別還處在實驗室階段。
② 語音識別
語音識別技術技術所涉及的領域包括：信號處理、模式識別、機率論和資訊理論、發聲機理和聽覺機理、人工智慧等等。近年來，在生物識別技術領域中，聲紋識別技術以其獨特的方便性、經濟性和準確性等優勢受到世人矚目，並日益成為人們日常生活和工作中重要且普及的安驗證方式。而且利用基因算法訓練連續隱馬爾柯夫模型的語音識別方法現已成為語音識別的主流技術，該方法在語音識別時識別速度較快，也有較高的識別率。
③ 指紋識別
我們手掌及其手指、腳、腳趾內側表面的皮膚凹凸不平產生的紋路會形成各種各樣的圖案。而這些皮膚的紋路在圖案、斷點和交叉點上各不相同，是唯一的。依靠這種唯一性，就可以將一個人同他的指紋對應起來，通過比較他的指紋和預先保存的指紋進行比較，便可以驗證他的真實身份。一般的指紋分成有以下幾個大的類別:環型(loop)，螺旋型(whorl)，弓型(arch)，這樣就可以將每個人的指紋分別歸類，進行檢索。指紋識別基本上可分成：預處理、特徵選擇和模式分類幾個大的步驟。
④ 遙感
遙感圖像識別已廣泛用於農作物估產、資源勘察、氣象預報和軍事偵察等。
⑤ 醫學診斷
在癌細胞檢測、X射線照片分析、血液化驗、染色體分析、心電圖診斷和腦電圖診斷等方面，模式識別已取得了成效。
發展潛力
模式識別技術是人工智慧的基礎技術，21世紀是智慧型化、信息化、計算化、網路化的世紀，在這個以數字計算為特徵的世紀裡，作為人工智慧技術基礎學科的模式識別技術，必將獲得巨大的發展空間。在國際上，各大權威研究機構，各大公司都紛紛開始將模式識別技術作為公司的戰略研發重點加以重視。
1、語音識別技術
語音識別技術正逐步成為信息技術中人機接口(Human Computer Interface， HCI)的關鍵技術，語音技術的套用已經成為一個具有競爭性的新興高技術產業。中國網際網路中心的市場預測：未來5年，中文語音技術領域將會有超過400億人民幣的市場容量，然後每年以超過30%的速度增長。
2、生物認證技術
生物認證技術(Biometrics)本世紀最受關注的安全認證技術，它的發展是大勢所趨。人們願意忘掉所有的密碼、扔掉所有的磁卡，憑藉自身的唯一性來標識身份與保密。國際數據集團（IDC）預測：作為未來的必然發展方向的移動電子商務基礎核心技術的生物識別技術在未來10年的時間裡將達到100億美元的市場規模。
3、數字水印技術
90年代以來才在國際上開始發展起來的數字水印技術(Digital Watermarking)是最具發展潛力與優勢的數字媒體著作權保護技術。IDC預測，數字水印技術在未來的5年內全球市場容量超過80億美元。
模式識別從20世紀20年代發展至今，人們的一種普遍看法是不存在對所有模式識別問題都適用的單一模型和解決識別問題的單一技術，我們現在擁有的只是一個工具袋，所要做的是結合具體問題把統計的和句法的識別結合起來，把統計模式識別或句法模式識別與人工智慧中的啟發式搜尋結合起來，把統計模式識別或句法模式識別與支持向量機的機器學習結合起來，把人工神經元網路與各種已有技術以及人工智慧中的專家系統、不確定推理方法結合起來，深入掌握各種工具的效能和應有的可能性，互相取長補短，開創模式識別套用的新局面。
對於識別二維模式的能力，存在各種理論解釋。模板說認為，我們所知的每一個模式，在長時記憶中都有一個相應的模板或微縮副本。模式識別就是與視覺刺激最合適的模板進行匹配。特徵說認為，視覺刺激由各種特徵組成，模式識別是比較呈現刺激的特徵和儲存在長時記憶中的模式特徵。特徵說解釋了模式識別中的一些自下而上過程，但它不強調基於環境的信息和期待的自上而下加工。基於結構描述的理論可能比模板說或特徵說更為合適。
模式識別
叢書名： 國外計算機科學教材系列
作 者： （希）西奧多里德斯 等著，李晶皎 等譯
出 版 社： 電子工業出版社
出版時間： 2006-12-1
頁 數： 551
紙 張： 膠版紙
S B N ： 9787121026478
包 裝： 平裝
所屬分類： 圖書 >> 計算機/網路 >> 人工智慧
定價：￥58.00
內容簡介
模式識別是指對表征事物或現象的各種形式的信息進行處理和分析，以對事物或現象進行描述、辨認、分類和解釋的過程。它是信息科學和人工智慧的重要組成部分，主要套用領域是圖像分析與處理、語音識別、聲音分類、通信、計算機輔助診斷、數據挖掘等學科。本書在完美地結合當前的理論與實踐的基礎上，討論了貝葉斯分類、貝葉斯網路、線性和非線性分類器設計、動態編程和用於順序數據的隱馬爾可夫模型、特徵生成、特徵選取技術、學習理論的基本概念以及聚類概念與算法。與前一版相比，主要更新了關於支持向量機和聚類算法的內容，重點研究了圖像分析、語音識別和聲音分類的特徵生成。每章末均提供有習題與練習，且支持網站上提供有習題解答，以便於讀者增加實際經驗。
作者簡介
Sergios Theodoridis：希臘雅典大學信息與通信系教授。他於1973年在雅典大學獲得物理學學士學位，又分別於1975年和1978年在英國伯明罕大學獲得信號處理與通信碩士和博士學位。自1995年以來，他一直是希臘雅典大學信息與通信系教授。其主要研究方向是自適應信號處理、通信與模式識別。他是歐洲並行結構及語言協會（PARLE-95）主席和歐洲信號處理協會（DUSIPCO-98）常務主席、《信號處理》雜誌編委。
目錄
1.3 有監督和無監督模式識別
1.4 本書的內容安排
第2章 基於貝葉斯決策理論的分類器
2.1 引言
2.2 貝葉斯決策理論
2.3 判別函式和決策面
2.4 常態分配的貝葉斯分類
2.5 未知機率密度函式的估計
2.6 最近鄰規則
2.7 貝葉斯網路
習題
參考文獻
第3章 線性分類器
3.2 線性判別函式和決策超平面
3.3 感知器算法
3.4 最小二乘法
3.7 支持向量機
習題
參考文獻
第4章 非線性分類器
4.1 引言
4.2 異或問題
4.3 兩層感知器
4.4 三層感知器
4.5 基於訓練集準確分類的算法
4.6 反向傳播算法
4.7 反向傳播算法的改進
4.8 代價函式選擇
4.9 神經網路的大小選擇
4.10 仿真實例
4.11 具有權值共享的網路
4.12 線性分類器的推廣
4.13 線性二分法中l維空間的容量
4.14 多項式分類器
4.15 徑向基函式網路
4.16 通用逼近
4.17 支持向量機：非線性情況
4.18 決策樹
1.19 合併分割器
1.20 合併分類器的增強法
4.21 討論
習題
5.2 預處理
5.3 基於統計假設檢驗的特徵選擇
5.4 接收機操作特性ROC曲線
5.5 類可分性測量
5.6 特徵子集的選擇
5.7 最優特徵生成
5.8 神經網路和特徵生成/選擇
5.9 推廣理論的提示
5.10 貝葉斯信息
習題
6.2 基本向量和圖像
6.3 Karhunen-loeve變換
6.4 奇異值分解
6.5 獨立成分分析
6.6 離散傅立葉變換（DFT）
……
第7章 特徵生成Ⅱ
第8章 模板匹配
