立體匹配(Stereo Matching)的目標是從不同視點圖像中找到匹配的對應點。
基本介紹
- 中文名:立體視覺匹配
- 外文名:Stereo Matching
- 目標:從不同視點圖像中找到匹配點
- 意義:計算機視覺中的重要又困難的問題
簡介
背景
相比之下,機器的立體視覺系統則要落後得多。相機採集到的圖像數據中可能存在較大的噪聲,相機參數也有可能不對稱; 用於處理圖像的計算機大部分還是馮·諾依曼結構的串列計算機,處理能力與人腦相差甚遠。計算機視覺的研究歷史也不長:上世紀七十年代末之前的視覺研究主要集中於生理學和心理學上;在大衛·馬爾提出了視覺計算模型以後,人們才慢慢的開始利用計算機和數學模型進行視覺處理。早期的立體視覺,由於受限於硬體條件,只能對圖像上的特徵點進行匹配, 得到離散點的深度信息。 然而, 計算機硬體的發展非常迅速,正如摩爾定律所指出的,每 18 個月,計算機的硬體價格就下降一半,而性能則提高一倍。當計算機的處理能力不斷提高的時候,人們開始嘗試計算整幅圖的稠密對應關係,同時也開始採用一些更加複雜更加準確的數學工具進行計算。
當前計算機立體視覺的水平與人類的雙目視覺水平還相距甚遠,對它的研究仍然是一個非常活躍的領域。大量的學校、公司以及研究機構的研究人員仍然在進行著對計算機立體視覺的研究,這是因為計算機立體視覺與人眼立體視覺相比,主要有以下不可替代的優點:
2、擴展能力強大。由於計算機硬體和軟體不像人類的器官那樣不可改變,計算機立體視覺可以從各個方面對其進行擴展,以滿足不同套用的需求。首先,計算機立體視覺並不限於雙目視覺,很多系統使用了三相機、多相機甚至相機矩陣採集圖像。相機的擺放方式除了類似人眼的水平擺放,還可以採用垂直擺放、環繞擺放以及立體擺放等多種靈活的方式,有一些系統的相機間的關係還可以根據需要進行動態變化。此外,除了可見光,使用特殊的相機,還可以採集到其它各種類型的輸入數據,如紅外線、核磁共振等。所以說,計算機立體視覺技術具有強大的擴展能力,能夠提供比人眼立體視覺系統更豐富的信息。
3、除了以上的兩個特點,計算機還具有連續工作時間長、不易損壞、保密性好、沒有培訓成本、結果易於保存和複製等優點。
由此看來,對於立體視覺匹配的研究,能夠大大的增強計算機或機器人對環境的感知能力,使得機器人能夠更好的適應環境、更加智慧型,從而能夠更好的為人們服務。
如今立體視覺技術主要套用於如下一些領域:三維環境感知與建模、機器人導航、物體跟蹤與檢測以及圖像分割等。隨著立體視覺技術的進一步發展,可能會有更多的領域使用這項技術。
發展現狀
立體視覺匹配的另一個挑戰在於匹配的歧義性:對於一幅圖上的某個像素或特徵,另一幅圖像可能有若干特徵與之相似,如何選擇正確的匹配是一個困難而又必須解決的問題。Barn 提出了鬆弛標號法(Relaxation-Labeling),利用平滑性和投票的策略解決歧義性問題;Pollard 等人定義了離散視差的視差梯度,通過限制視差梯度減小歧義情況下的錯匹配;Marr 和 Poggio 以及 Zitnick 和 Kanade 採用了合作的匹配框架,試圖通過多個特徵的匹配信息以及唯一性假設來解決歧義。 更好的方法是採用全局的方法進行求解,把多個像素或特徵的視差求解歸一到一個能量框架下。使用了能量最佳化的框架之後,能量函式的定義和最佳化變成了兩個較為獨立的問題, 可以分別加以研究和解決。在定義能量函式方面,不同的算法採用不同的匹配信息和不同的先驗假設來描述能量函式中的不同部分,通過這些假設把大量的特徵聯繫起來,聯合求解以消除歧義。在能量最佳化方法方面,較傳統的有模擬退火(Simulated Annealing)算法、最可靠有限算法等。近些年,基於圖切割(Graph-Cuts)和置信度傳遞(Belief-Propogation)的最佳化算法逐漸被廣泛採用。以上算法的速度都較慢,主要原因在於當平滑函式為一般函式的時候,以上的能量最佳化函式是一個NP難題。為了提高效率,一些研究人員考慮採用具有低階多項式複雜度的動態規划算法,此時需要把最佳化局限於單條掃描線或把多連通的圖變成一棵樹。
問題描述
d = x - x'
通過簡單的幾何關係推導, 我們可以得到如下等式:
d = Bf / Z
可見當基線和焦距固定的時候,也就是相機的參數以及相機之間的相對位置和姿態固定不變的時候,視差與空間的點的深度成反比。因此,只需要知道了視差就可以得到物體的深度,從而立體視覺匹配問題可以定義為根據來自於不同的相機的圖像求解視差的問題。