面部跟蹤，就是要在檢測到人臉的前提下，在後續幀中繼續捕獲人臉的位置及其大小等信息，包括人臉的識別和人臉的跟蹤技術。
基本介紹
- 中文名：面部跟蹤
- 外文名：Face tracking
- 類型：計算機科學
- 學科：跨學科
- 套用：身份鑑別方法、人機感知互動
- 概念：人臉的識別和人臉的跟蹤技術
介紹,方法,基於模型跟蹤,基於運動信息跟蹤,基於人臉局部特徵跟蹤,基於神經網路跟蹤,
介紹
在海關、機場、銀行、電視電話會議等場合，都需要對特定人臉目標進行跟蹤。顯然，要跟蹤圖象中的人臉。首先要識別人臉。人臉識別就是利用計算機分析靜態圖片或視頻序列。從中找出人臉並輸出人臉的數目、位置及其大小等有效信息。其次就是跟蹤人臉。就是要在檢測到人臉的前提下。在後續幀中繼續捕獲人臉的位置及其大小等信息。人臉跟蹤技術涉及到模式識別、圖象處理、計算機視覺、生理學、心理學及形態學等諸多學科。並與基於其它生物特徵的身份鑑別方法以及計算機人機感知互動的研究領域密切相關。與基於指紋、視網膜、虹膜、DNA等其它人體生物特徵識別系統相比。人臉跟蹤技術更為直接、友好。不會對用戶造成心理障礙。此外，人臉跟蹤技術研究與相關學科的發展及對人腦的認識程度緊密相關。這諸多因素使人臉跟蹤研究成為一項既困難又極富挑戰性的課題。
目前常見的跟蹤技術大致可分為4大類：基於模型跟蹤；基於運動信息跟蹤；基於人臉局部特徵跟蹤和基於神經網路跟蹤等方法。
方法
基於模型跟蹤
基於模型跟蹤的方法就是獲取目標的先驗知識，建立低價參數模型，對輸入的每一幀圖象通過滑動視窗進行模型匹配，實現人臉識別與跟蹤。常見的跟蹤模型有：膚色模型、橢圓模型、紋理模型及雙眼模板等。
基於膚色模型的跟蹤方法就是利用恰當的表色系統，把膚色作為實現人臉跟蹤的關鍵信息。由於膚色信息具有對放大和縮小以及對微小變形不敏感的優點，加上人臉相對鏡頭的變化對膚色信息本身的影響不大，該類方法很容易在前一幀圖象分析結果的基礎上跟蹤到後一幀圖象的人臉區域，因此具有速度快、姿態不變性等特點。目前的人臉跟蹤技術大都採用基於膚色模型的方法。
基於運動信息跟蹤
基於運動信息跟蹤法主要是充分利用圖象連續幀間目標運動的連續性規律，進行人臉區域的預測以達到快速跟蹤的目的。通常採用運動分割、光流、立體視覺等方法。利用時空梯度，卡爾曼濾波器進行跟蹤。
光流是空間運動物體被觀測面上的像素點運動產生的瞬時速度場，包含了物體3D表面結構和動態行為的重要信息。一般情況下，光流由相機運動、場景中目標運動、或兩者的運動產生。光流分析經常被用於目標運動估計。當場景中有獨立的運動目標時，通過光流分析可以確定運動目標的數目、運動速度、目標距離和目標的表面結構。光流分析可以分為連續光流法和特徵光流法，特徵光流法是通過特徵匹配求得特徵點處的光流。
基於人臉局部特徵跟蹤
基於人臉局部特徵跟蹤法的主要思想是根據不同的人臉器官特徵信息進行器官跟蹤。這類方法經常利用眼睛、嘴和鼻子等器官特徵信息進行跟蹤定位。傳統的人臉特徵點跟蹤方法通常是在人面部畫上標識點進行跟蹤，如Kouadio等提出了一種通過加標識點來跟蹤視頻中人臉特徵點的方法，採用了一種分析人面部曲線的方法來跟蹤人臉。
基於神經網路跟蹤
神經網路是近年來發展較快的一個交叉研究學科。人工神經網路模型具備人腦思維的一些典型特徵，如自組織、聯想記憶、非線性、大規模並行連線等。並且具有強大的學習能力!將神經網路用於人臉跟蹤具有一定的優勢。因為要顯性地對人臉識別特徵進行描述相當困難，而神經網路則可以通過學習，自動地獲得識別規律的隱性表達。
目前神經網路方法也是人臉識別與跟蹤技術中的研究熱點。Valentin提出一種方法,首先提取人臉的50個主元,然後用自相關神經網路將它映射到5維空間中，再用一個普通的多層感知器進行判別。對一些簡單的測試圖象效果較好；Intrator等提出了一種混合型神經網路來進行人臉跟蹤，其中非監督神經網路用於特徵提取，而監督神經網路用於分類。
