《一種基於規則的全天候智慧型視頻分析監控方法》是中國科學院自動化研究所於2007年3月14日申請的發明專利，該專利申請號為200710064387，公布號為CN101266710A，專利公布日為2008年9月17日，發明人是譚鐵牛、黃凱奇、王亮生、王時全、黃永禎。該發明涉及一種對異常情況自動報警的監控方法，尤其是在全天候條件下通過對攝像機採集到的視頻進行基於規則的智慧型分析從而實現可設定報警對象、可調節報警靈敏度的監控方法。
《一種基於規則的全天候智慧型視頻分析監控方法》能夠用於室內、戶外道路與野外的全天候的基於規則的智慧型視頻分析監控方法，步驟包括：對攝像頭採集到的圖像序列進行背景分割以得到正確的前景，接著對得到的前景進行目標檢測以得到要監控的對象，接著對檢測到的對象進行跟蹤以得到對象的軌跡，然後對得到的軌跡進行軌跡分析，同時對檢測得到的對象進行目標識別以得到對象的類別，然後根據預先制定的由目標類別、目標行為、時間和地點構成的報警規則以及由簡單規則複合的複合規則對得到的軌跡分析結果和對象類別進行判斷，從而得到是否報警以及以何種方式報警的結果。
2010年11月15日，《一種基於規則的全天候智慧型視頻分析監控方法》獲得第十二屆中國專利獎優秀獎。
（概述圖為《一種基於規則的全天候智慧型視頻分析監控方法》的摘要附圖）
基本介紹
- 中文名：一種基於規則的全天候智慧型視頻分析監控方法
- 公布號：CN101266710A
- 公布日：2008年9月17日
- 申請號：200710064387
- 申請日：2007年3月14日
- 申請人：中國科學院自動化研究所
- 地址：北京市海淀區中關村東路95號
- 發明人：譚鐵牛、黃凱奇、王亮生、王時全、黃永禎
- 代理機構：中科專利商標代理有限責任公司
- 代理人：周國城
- Int.Cl.：G08B13/196（2006.01）I
- 類別：發明專利
專利背景,發明內容,專利目的,技術方案,改善效果,附圖說明,權利要求,實施方式,榮譽表彰,
專利背景
隨著現代科技的飛速發展，利用攝像機來監控動態場景早已被廣泛套用於現代社會的方方面面，特別是那些對安全要求敏感的場合，如國防、社區、銀行、停車場、軍事基地、電纜沿線等。動態場景的視覺監控是2007年3月之前備受關注的前沿研究方向，它從攝像機捕捉的圖像序列中檢測、識別、跟蹤目標並對其行為進行理解。儘管2007年3月之前作為人類視覺延伸的監控攝像機在商業套用中已經普遍存在，但並沒有充分發揮其實時主動的監督媒介的作用。因此，開發出具有實際意義的自動性、智慧型性的視覺監控系統日益變得迫切和必要。這就要求不僅能用攝像機代替人眼，而且能用計算機協助人、代替人，以完成監視或控制任務。
2007年3月之前，傳統的視頻監控系統將攝像機採集到的視頻傳輸到終端監控室，最終由保全人員對傳輸來的視頻觀測來實現監控的目的，這些傳統的視覺監控系統都是一種事後監控，對各種破壞安全性的行為起不到制止的作用；另一方面，這些監控系統主要依靠保全人員實時觀測攝像機的顯示器，所有的意外事件和異常情況都是由保全人員來發現，這樣做需要大量的人力和物力。在這種情況下，人的生理因素比如注意力會極大地影響監控的效果。隨著人們對安全性要求的增加，以及監控任務的複雜性增加，這些傳統的監控系統將不能適應社會發展的需要。
公知的視頻監控系統從攝像機捕捉的圖像序列中檢測、識別、跟蹤目標並對其行為進行分析理解從而達到監控的目的，其技術要點包括：運動目標檢測和跟蹤，目標的分類，人、車輛及其他監控目標的運動分析，行為理解這些方面。具有代表性的產品有Vidient的Smart Catch和Verint的Nextiva。這些監控方法都是在室內或者戶外道路環境下測試使用，在照明良好時可以比較有效地檢測目標，可以識別人、車，可以在簡單情況下跟蹤目標，可以對簡單的行為進行分析理解。
但是，很多實際套用場景並不理想。首先，絕大多數實際套用要求對目標場景進行全天候監控，並且在夜間無法提供如同白天的照明條件。其次，國防、軍事基地、電纜沿線等亟需可靠的智慧型視頻監控的場所大都處於野外。不同於室內和道路環境，野外環境複雜，亮度變化大，干擾源數量多而且干擾模式複雜。一般的視頻監控系統在這些情況下無法有效地實現檢測、識別、跟蹤目標和對其行為進行分析理解，不能對目標場景進行有效的監控。
發明內容
專利目的
為了克服2007年3月之前的視頻監控系統不能對目標場景進行全天候有效的監控，不能有效套用於野外等複雜場景的不足，該發明目的是在全天候條件下，不僅可以對通常的室內和戶外道路場景進行監控，而且能套用於野外場景進行監控，為此，提供一種基於規則的全天候智慧型視頻分析監控方法。
技術方案
為了實現所述的目的，《一種基於規則的全天候智慧型視頻分析監控方法》步驟如下：
背景分割步驟S1：對攝像頭採集到的圖像序列進行背景分割，用於獲得正確的前景；
目標檢測步驟S2：對獲得的前景進行目標檢測，用於得到要監控的對象；
目標跟蹤步驟S3：對檢測到的對象進行跟蹤，用於得到對象的軌跡；
軌跡分析步驟S4：對得到的軌跡進行軌跡分析；
目標識別步驟S5：同時對檢測得到的對象進行目標識別，用於得到對象的類別；
異常行為檢測步驟S6：根據預先制定的報警規則對得到的軌跡分析結果和對象類別進行判斷，從而得到是否報警以及以何種方式報警的輸出結果。
具體地，其背景分割包括如下步驟：
步驟S11：首先由採集到的圖像序列構建背景模型；
步驟S12：由當前輸入圖像與背景模型進行比對，用於獲得前景；
步驟S13：對獲得的前景經過形態學濾波和連通量分析，用於得到輪廓分割結果。
具體地，其目標檢測包括如下步驟：
步驟S21：由背景分割得到的結果進行閾值化處理，用於獲得候選目標；
步驟S22：對獲得的候選目標，結合圖像中的統計特徵和運動分析方法來檢測到目標。
具體地，其目標跟蹤包括如下步驟：
步驟S31：首先求取檢測所得目標的特徵；
步驟S32：採用統計的方法對目標的運動進行預測，獲得目標的運動預測結果；
步驟S33：對預測結果與新的圖像中檢測所得目標的特徵進行匹配，用於得到圖像序列中目標的運動軌跡。
具體地，其軌跡分析包括如下步驟：
步驟S41：由跟蹤得到的軌跡信息進行聚類，用於獲得軌跡類別和時序關係；
步驟S42：利用軌跡類別之間的時序關係得到規則；
步驟S43：由得到的規則對軌跡進行分析。
具體地，其目標識別包括如下步驟：
步驟S51：首先要訓練一組模型，由N組包含正負樣本的訓練數據通過訓練算法得到一組模型庫及相應的分類器；
步驟S52：將檢測所得目標輸入分類器；
步驟S53：根據訓練得到的模型庫分類，得到目標的類別。
具體地，其報警輸出包括如下步驟：
步驟S61：通過基於規則的異常行為分析，若發2007年3月之前異常行為，則由預先制定好的策略根據不同類型的套用場景和異常行為觸發不同類型的報警，並同時輸出當前報警的圖像和文字描述。
具體地，其報警規則制定為一個規則由四個因素構成：
目標類別由目標識別得到的類別；
目標行為由目標跟蹤得到的軌跡經軌跡分析決定；
地點包括：區域和絆線；
時間是預先設定。
具體地，所述報警規則，採用兩個或兩個以上報警規則由時序關係構成一個複合報警規則。
具體地，所述報警規則，採用一個異常行為由一個報警規則或者一個複合報警規則描述。
具體地，所述報警規則，當一個報警規則或者一個複合報警規則得到滿足時，則判定發生了異常行為。
《一種基於規則的全天候智慧型視頻分析監控方法》的有益效果是，該發明通過基於規則的智慧型視頻分析，結合多種分割、檢測和跟蹤技術，解決了各種異常行為的正確區分和識別，消除了由全天候條件下與複雜場景中的不良條件帶來的干擾，不僅可對通常的室內和戶外道路場景進行全天候監控，而且能套用於野外等複雜場景進行全天候監控，監控更加準確與魯棒，通過加入新的規則可擴展報警對象，可設定報警對象，可調節報警靈敏度，實施、配置簡單方便，可對複雜行為進行監控。
圖1是《一種基於規則的全天候智慧型視頻分析監控方法》的系統框圖。
圖2是背景分割的流程圖。
圖3是目標跟蹤的流程圖。
圖4是目標識別的流程圖。
圖5是第一個實施例的用戶界面。
圖6是第一個實施例的算法參數設定界面。
圖7是第一個實施例的異常規則配置界面。
圖8是第一個實施例的一個報警示例。
1.《一種基於規則的全天候智慧型視頻分析監控方法》其特徵在於，
背景分割步驟S1：對攝像頭採集到的圖像序列進行背景分割，用於獲得正確的前景；
目標檢測步驟S2：對獲得的前景進行目標檢測，用於得到要監控的對象；
目標跟蹤步驟S3：對檢測到的對象進行跟蹤，用於得到對象的軌跡；
軌跡分析步驟S4：對得到的軌跡進行軌跡分析；
目標識別步驟S5：同時對檢測得到的對象進行目標識別，用於得到對象的類別；
異常行為檢測步驟S6：根據預先制定的報警規則對得到的軌跡分析結果和對象類別進行判斷，從而得到是否報警以及以何種方式報警的輸出結果。
2.根據權利要求1所述的監控方法，其特徵在於，其背景分割包括如下步驟：
步驟S11：首先由採集到的圖像序列構建背景模型；
步驟S12：由當前輸入圖像與背景模型進行比對，用於獲得前景；
步驟S13：對獲得的前景經過形態學濾波和連通量分析，用於得到輪廓分割結果。
3.根據權利要求1所述的監控方法，其特徵在於，其目標檢測包括如下步驟：
步驟S21：由背景分割得到的結果進行閾值化處理，用於獲得候選目標；
步驟S22：對獲得的候選目標，結合圖像中的統計特徵和運動分析方法來檢測到目標。
4.根據權利要求1所述的監控方法，其特徵在於，其目標跟蹤包括如下步驟：
步驟S31：首先求取檢測所得目標的特徵；
步驟S32：採用統計的方法對目標的運動進行預測，獲得目標的運動預測結果；
步驟S33：對預測結果與新的圖像中檢測所得目標的特徵進行匹配，用於得到圖像序列中目標的運動軌跡。
5.根據權利要求1所述的視頻監控方法，其特徵在於，其軌跡分析包括如下步驟：
步驟S41：由跟蹤得到的軌跡信息進行聚類，用於獲得軌跡類別和時序關係；
步驟S42：利用軌跡類別之間的時序關係得到規則；
步驟S43：由得到的規則對軌跡進行分析。
6.根據權利要求1所述的監控方法，其特徵在於，其目標識別包括如下步驟：
步驟S51：首先要訓練一組模型，由N組包含正負樣本的訓練數據通過訓練算法得到一組模型庫及相應的分類器；
步驟S52：將檢測所得目標輸入分類器；
步驟S53：根據訓練得到的模型庫分類，得到目標的類別。
7.根據權利要求1所述的監控方法，其特徵在於，其報警輸出包括如下步驟：
步驟S61：通過基於規則的異常行為分析，若發2007年3月之前異常行為，則由預先制定好的策略根據不同類型的套用場景和異常行為觸發不同類型的報警，並同時輸出當前報警的圖像和文字描述。
8.根據權利要求1所述的監控方法，其特徵在於，其報警規則制定為一個規則由四個因素構成：
目標類別由目標識別得到的類別；
目標行為由目標跟蹤得到的軌跡經軌跡分析決定；
地點包括：區域和絆線；
時間是預先設定。
9.根據權利要求8所述的監控方法，其特徵在於，所述報警規則，採用兩個或兩個以上報警規則由時序關係構成一個複合報警規則。
10.根據權利要求8所述的監控方法，其特徵在於，所述報警規則，採用一個異常行為由一個報警規則或者一個複合報警規則描述。
11.根據權利要求8所述的監控方法，其特徵在於，所述報警規則，當一個報警規則或者一個複合報警規則得到滿足時，則判定發生了異常行為。
實施方式
《一種基於規則的全天候智慧型視頻分析監控方法》使用的方法可在個人計算機、工控機及伺服器上以軟體的形式安裝並執行，也可將方法做成嵌入式晶片以硬體的形式來體現。
圖1給出了一個實施例系統框圖，首先對攝像頭採集到的圖像序列進行背景分割以得到正確的前景，接著對得到的前景進行目標檢測以得到要監控的對象，接著對檢測到的對象進行跟蹤以得到對象的軌跡，然後對得到的軌跡進行軌跡分析，同時對檢測得到的對象進行目標識別以得到對象的類別，然後根據預先制定的報警規則對得到的軌跡分析結果和對象類別進行判斷，從而得到是否報警以及以何種方式報警的結果。
圖2給出了一個實施例的背景分割流程。該發明中的背景分割是以如下方式實現的，首先由採集到的圖像序列基於多幀統計模型構建背景圖像，接著由當前輸入圖像與背景模型進行差分比對操作並進行二值化處理，然後經過形態學濾波和連通量分析得到輪廓分割結果。這樣可以在滿足實時的條件下有效地減弱和消除由於光照變化、天氣情況等帶來的干擾從而得到更加魯棒和準確的輪廓。
該發明中的目標檢測是通過如下方式實現的。由背景分割得到的結果進行差分閾值化處理並結合圖像中的統計特徵和運動分析方法來檢測到目標。這樣可以有效利用差分閾值法的優點，克服其不足。
圖3給出了一個實施例的目標跟蹤流程。該發明中的目標跟蹤是以如下方式實現的，首先求取檢測所得目標的質心特徵，接著採用統計的方法對其運動進行預測，由最大後驗準則進行預測，所得預測結果與新的圖像中檢測所得目標進行輪廓匹配，得到圖像序列中目標的運動軌跡，這樣可以排除誤報，使得得到的軌跡穩定而且準確。
該發明中的軌跡分析是以如下方式實現的。首先要訓練規則，由跟蹤得到的軌跡信息進行聚類，並結合它們之間的時序關係得到一系列規則。接著由得到的軌跡類別及其時序關係對軌跡進行分析。通過軌跡分析能夠得到監控對象更加高層的行為信息，便於實現更加複雜和準確的異常行為監控。
圖4給出了一個實施例的目標識別流程。首先要訓練一組模型，由組人（或車、腳踏車）包含正樣本、負樣本的訓練數據通過訓練算法得到一組模型庫N，接著將檢測所得目標輸入分類器，根據訓練得到的模型庫分類，這樣就得到了目標的類別，N＝1、2、3......。通過對目標的識別可以有效避免一些無法控制的干擾如飛鳥，其他干擾帶來的誤報等，同時為基於規則的異常行為報警提供了先決條件。
該發明中的報警輸出是以如下方式實現的。通過基於規則的異常行為分析，若發2007年3月之前異常行為，則由預先制定好的策略根據不同類型的套用場景和異常行為觸發例如聲、光、電等不同類型的報警，還可以實現語音報警，並同時輸出當前報警的圖像和文字描述。這裡異常情況指非法闖入特定區域、非法滯留特定區域、非法單向通過特定警戒線、非法雙向通過特定警戒線、非法尾隨人或車輛、非法移走物體。該方法結合了圖像處理、計算機視覺和模式識別技術。
圖5是一個實施例的主界面。其作用是用來顯示各路當前採集到的實時視頻，並在其上疊加繪製出各禁區範圍以及它們內部的目標檢測和跟蹤結果。當沒有視頻時，顯示Logo的標誌。每個視頻視窗左側都有一欄工具按鈕，可以通過它們對各路視頻的採集和異常檢測過程進行控制。各按鈕的名稱在圖5中已由紅色文字標出，分別是：開始視頻採集、設定算法參數、停止/開始異常檢測、啟動/關閉規則編輯器、調整視頻參數、停止視頻採集。下方是報警信息列表，其作用是用來顯示程式在運行過程中記錄的各條報警信息。所有報警信息記錄被按照事件發生時間的逆序排列，即最後檢測到的異常事件被排在列表最頂端。該列表中各列的意義如下：
1.事件編號：從1開始、順序遞增的事件編號，刪除個別報警信息記錄不會改變其後到達事件的編號，但可以通過“清空列表”對其進行重置，從而使該操作後到達的報警信息記錄重新從1開始順序編號。
2.場景編號：從1開始、順序遞增的場景編號，該編號與各路視頻對應，標識了每條報警信息記錄來自於哪一個視頻場景。左上角的視頻顯示視窗中顯示的視頻對應於1號場景、右上角為2號、左下角為3號、右下角為4號。
3.區或編號：從1開始、順序遞增的區域編號，對應於同一路視頻中不同的禁區，標識了每條報警信息所記錄的異常事件具體發生在視頻場景中的哪一個禁區。當在異常檢測規則編輯器中查看某一路視頻對應的規則設定時，顯示在區域列表頂端的區域是1號禁區，其下是2號禁區，其餘依此類推。
4.事件時間：顯示每條報警信息記錄對應的異常事件發生的時間，以程式所在的計算機系統時間為基準，其格式為“[年]，[月]，[日][時]:[分]:[秒]”，其中年份用4位數字顯示，其餘均為2位，採用24小時制。
5.異常事件描述：顯示每條報警信息記錄對應的異常事件描述，對應於不同的規則（區域或是絆線）有不同的格式，
1）區域，其一般格式為“目標[‘進入’/‘離開’]”[場景描述]”場景的”[區域描述]”區域”，其中“場景描述”和“區域描述”這兩項需要由在異常監測規則編輯器中手動設定。
2）絆線，其一般格式為“目標[‘由左向右’/‘由右向左’]”[場景描述]”場景的”[區域描述]”絆線”，其中“場景描述”和“區域描述”這兩項需要由在異常監測規則編輯器中手動設定。
圖6是一個實施例的算法參數設定界面，通過它來調整圖1中各個部分所用到算法的參數。其中一些參數需要根據實際套用進行調整：
1.圖像降維尺度：為了節省系統資源，該實施例在對視頻進行分析前首先按照該參數值對採集到的圖像進行降採樣，之後再將檢測到的目標坐標乘以該值得到目標在原始圖像中的實際坐標。如在圖6所示的對話框中該參數值為默認值2，假設此時輸入的視頻尺寸為320×240像素，則在處理前我們首先將圖像尺寸降採樣到160×120像素，若此時檢測到在點（80，60）處有一面積為100像素目標，則該目標在原始圖像中的實際座標即為（160，120）、實際面積為400像素。將該參數值調低可以提高程式進行目標檢測時的計算精度，從而使系統更容易檢測到較小的運動目標，但也會消耗更多的系統資源（尤其是計算資源），同時也更容易受到噪聲影響從而出現較多的誤報；調高該值則可以明顯降低系統資源消耗、減少由圖像噪聲導致的誤報，但同時會導致程式精度下降，從而使其難以發現距離攝像機較遠的運動目標。
2.最小目標尺寸：在當前場景中，任何面積（像素數量）小於該值的目標將被當做噪聲。調小該值可以使程式檢測到更小的目標，但也會導致誤報增多；反之若調大該值則可以降低誤報，同時也會使程式忽略較小的運動目標。注意，這裡所說的“目標大小”是指目標在原始像中的尺寸，因此將該參數設定為小於“圖像降維尺度”的平方的值是沒有意義的。
3.丟失目標最大幀數：當一個目標連續無法被檢測的幀數大於該參數值時即被確認為丟失。調大該值可以減少由於目標在個別幀丟失而造成的軌跡中斷，但卻更容易受到噪聲影響而產生誤告；反之則有助於降低誤報，同時也將難以得到的完整的目標運動軌跡。
4.目標起始幀數：只有在場景中連續被檢測到的幀數大於該值的目標才被確認為一個有效的運動目標。設定該參數的目的是為了減少由於圖像噪聲引起的誤報。由於圖像噪聲在空間上的隨機性，調大該值可以明顯降低因圖像噪聲引起的誤報，但也會增大目標檢測時的時間延遲，反之亦然。
5.最大目標尺寸：當前場景中任何面積（像素數量）大於該值的目標同樣將被系統忽略。在某些套用中，一些區域對人員來說是禁區，但卻允許車輛進入，此時可以通過調整該值實現這一目標。這個參數還有一個重要的作用：防止系統在視頻場景驟變（如開關燈造成光照條件變化、攝像機彩轉灰帶來的圖像快速變化）時產生大量誤報。該參數也是針對目標在原始圖像中的尺寸而言的。
6.突變比例因子：該參數的作用同樣是為了防止系統在視頻場景驟變時產生大量錯報。其意義是：若當前檢測到的所有運動目標面積之和（像素數量）與圖像面積之比大於該值，則所有目標皆被忽略。
7.圖7是一個實施例的規則配置界面。規則是以如下方式制定的。一個規則由四個因素構成：目標類別、目標行為、地點和時間。其中，目標類別指由前面的目標識別得到的類別；目標行為由目標跟蹤得到的軌跡通過分析而做的決定；地點是預先設定好的包括區域和絆線；時間是預先設定的。兩個或兩個以上規則可以由時序關係構成一個複合規則。一個異常行為由一個規則或者一個複合規則描述，當一個規則或者一個複合規則得到滿足時就認為發生了異常行為。這樣對異常行為的描述符合人的認知模式，可以配置監控對象、時間、地點和行為，可以調節監控靈敏度，能夠魯棒的檢測出各種類型的異常行為，可以實現對複雜異常行為的監控。在這裡可以設定規則有效時間、區域或者絆線、物體大小。
非法闖入特定區域的規則設定為：
地點：區域；目標類別：人；時間：所有；目標行為：闖入；
非法滯留特定區域的規則設定為：
地點：區域；目標類別：人；時間：所有；目標行為：滯留；
非法單向通過特定警戒線的規則設定為：
地點：絆線；目標類別：人；時間：所有；目標行為：跨越；
以上規則的複合形成了更複雜的規則。
圖8給出了一個實施例的報警示例。該實施例是以雪天氣候下，小區的周界防範報警為例。有一個人在雪天試圖翻越圍牆從而觸發了報警。其中紅色區域是預報警區域，藍色區域是報警區域。圖的上方給出了報警的詳細信息，包括事件編號、區域類型、事件時間與異常事件描述。圖中還給出了報警時的視頻圖像，圖像右上方顯示系統的時間和日期。圖中場景是一道圍牆以及被圍牆分成兩部分的空地，沿著圍牆邊緣設定了兩條警戒線，沿近處圍牆側面和地面設定了兩個警戒區域。當可疑物體進入下方的警戒區域不久後就被系統檢測到並跟蹤同時出發了預報警，當可疑物體準備翻越圍牆時被警戒線偵測到於是觸發了報警。計算機採用的是PIV2.0G，記憶體512M的Dell品牌機。
榮譽表彰
2010年11月15日，《一種基於規則的全天候智慧型視頻分析監控方法》獲得第十二屆中國專利獎優秀獎。
