Stereo Processing by Semiglobal Matching and Mutual Information

基於半全域性匹配和互資訊的立體處理

• Stereo Processing by Semiglobal Matching and Mutual Information
• 基於半全域性匹配和互資訊的立體處理
• 摘要
• 1 介紹
• 2 半全域性匹配
• 2.1 逐畫素匹配代價計算
• 2.2 代價聚合
• 2.3 視差計算
• 2.4 多基線匹配

摘要

本文描述了半全域性匹配的立體演算法。該演算法採用逐畫素的基於互資訊的匹配代價補償不同亮度的輸入影象。逐畫素匹配通過一個平滑約束支援，平滑約束通常表示為全域性代價函式。SGM通過從各個方向進行逐畫素優化來執行快速近似。討論還這幾到遮擋檢測、亞畫素求精和多基線匹配。此外，還提出了去除離群值、從結構化環境的特殊問題中恢復以及提出了間隙插值方法。最後，提出了幾乎任意大小影象的處理策略和通過正交投影進行視差影象融合的策略。對標準立體影象的比較表明，SGM演算法是目前在排名最靠前的演算法之中，並且在考慮亞畫素的情況下是最好的一個。演算法複雜度與畫素的數量和視差範圍成線性關係，這使得在典型測試影象上的運算時間只有1-2秒。基於MI的匹配代價的深度評估證明了對廣泛的亮度變化有較好的容忍度。最後，通過對大型航拍和推掃影象的重建例項驗證了本文提出的方法在實際問題中的有效性

1 介紹

2 半全域性匹配

半全域性匹配方法是基於互資訊的逐畫素匹配的思想和近似全域性，通過結合多個一維約束條件得到的二維平滑約束。該演算法採用不同的處理步驟進行描述。其中一些步驟是可選的，這取決於應用情況。

2.1 逐畫素匹配代價計算

輸入影象被假定已知其中的對極幾何模型，但是並不需要是被校正過的，因為有些情況是難以被校正的。例如推掃式影象中。由於平行投影在運動方向上，透視投影與運動方向正交，線性運動使極線變成雙曲線^[21]。 非線性運動在航空影像中是不可避免的，導致極線成為一般的曲線和影象不能夠被校正^[22]。
要計算參考影象中某一畫素點 $\mathbf{p}$

\mathbf{p} 的匹配代價，需要用到其灰度 $I_{b\mathbf{p}}$ ，及在待匹配影象的疑似匹配點 $\mathbf{q}$

\mathbf{q} 的灰度 $I_{m\mathbf{q}}$ ,通過 $\mathbf{q}=e_{bm}(\mathbf{p},d)$ 。函式 $e_{bm}(\mathbf{p},d)$ 代表參考影象中畫素 $\mathbf{p}$ 和極線引數 $d$ 下匹配影象中的極線。對於校正後的影象，且匹配影象在參考影象的右側，則 $e_{bm}(\mathbf{p},d)=[p_{x}-d,p_{y}]$ ，且 $d$ 代表視差。
一個重要的方面是考慮匹配區域的大小和形狀。匹配的魯棒性隨面積的增大而增強。然而，面積增大後會出現不連續的位置，在不連續位置上違反了視差在區域內恆定的假設，這將導致模糊了物體邊界和精細結構。某些形狀和技術能夠用於減少模糊，但是模糊不能避免^[8]。因此，這裡不使用在 $\mathbf{p}$ 鄰域內視差恆定的假設。也就是說只有 $I_{b\mathbf{p}}$ 和 $I_{m\mathbf{q}}$ 這兩個灰度值被用於計算匹配代價。
逐畫素代價計算的一個選擇是 Brichfield 和 Tomasi 提出的取樣不敏感測量^[2](簡稱BT )。代價 $C_{BT}(\mathbf{p},d)$ 通過極線中在每一個方向上的半個畫素範圍內的畫素 $\mathbf{p}$ 和畫素 $\mathbf{q}=e_{bm}(\mathbf{p},d)$的最小灰度差的絕對值進行計算。
另一種匹配代價計算是基於互資訊（MI，Mutual Information）^[4]，它對記錄和光照變化不明顯。互資訊由兩個影象各自的熵 $H$以及他們的聯合熵來定義：

$MI_{I_{1},I_{2}}=H_{I_{1}}+H_{I_{2}}-H_{I_{1},I_{2}}$

熵是通過計算相關影象的概率分佈 $P$得到：

$H_{I}=-\int_{0}^{1}P_{I}(i)\log{P_{I}(i)di}$

$H_{I_{1},I_{2}}=-\int_{0}^{1}\int_{0}^{1}P_{I_{1},I_{2}}(i_{1},i_{2})\log{P_{I_{1},I_{2}}(i_{1},i_{2})di_{1}di_{2}}$

對於配準良好的影象，聯合熵 $H_{I_{1},I_{2}}$較低因為一個影象能夠被另一幅影象預測，這與低資訊相對應。這增加了他們的互資訊。在立體匹配的情況下，一幅影象需根據視差影象 $D$來進行修正，為了匹配另一幅影象，使得兩幅影象中對應的畫素處於相同的位置，也就是 $I_{1}=I_{b}$ 而且 $I_{2}=f_{D}(I_{m})$

相關推薦