轉載請說明出處：

3.1深度濾波簡介

SVO在建圖部分採用的是深度濾波器，論文中並沒有詳細的介紹。深度濾波在SVO作者寫的另一篇叫REMODE[1]的文章裡，介紹了深度濾波的每一個步驟。REMODE[1]這篇文章講的是利用svo提供的位姿，進行三維重建，屬於漸進式三維重建。其過程和SVO深度濾波一樣，只不過在REMODE裡，實現用GPU進行了加速處理。

SVO深度濾波是利用一系列的前後幀，完成對指定幀上畫素深度的求取。用一些列幀，來求取指定幀上每個畫素深度的原因是，在計算畫素點深度時，單次匹配恢復的深度有誤差，需要依靠多次深度測量值的融合，來恢復誤差較小的深度值。SVO把畫素的深度誤差模型看做概率分佈，有兩個屬性

SVO深度濾波對深度進行漸進式融合（動態融合）。其過程可表述如下：

關鍵幀上選取畫素點(SVO是fast角點，REMODE是梯度點)，作為種子（seed，種子就是深度未收斂的畫素點），每來一幀影象，融合更新一下之前提取的種子，直至種子的深度收斂，這是個動態過程，類似於濾波，大概這就是叫深度濾波的原因吧。如果新的一幀是關鍵幀，那麼再次提取新的畫素點作為種子。

就這樣舊的種子不斷收斂，新的種子不斷增加，不斷進行下去。

下面來探討一下深度濾波的整個過程。

3.2 深度濾波分步驟詳細介紹

對於一個種子，其每一次深度濾波（也叫深度融合，利用新的一幀來更新種子的深度值），都行需要經以下過程。

3.2.1 計算極線

關於極線的基本知識，本文不做介紹。對於每個種子，在當前幀計算極線的條件是：

<1>已知種子所在幀與當前幀的相對位姿

<2>已知種子的初始深度

條件<1>的作用是用來做匹配，由VO提供。

條件<2>的作用是縮小找匹配的搜尋量。當種子新提取時，這個時候還沒有深度值，用場景平均深度初始。

本文用z表示種子的深度，sigma2表示深度方差，sigma表示深度標準差。

極線的計算方法如下：

step1：

   在深度延長線上，構造兩個三維點P1，P2，這兩個三維點來源同一個畫素，唯一的不同就是深度，

分別為 P1(x,y，z- n*sigma)，P2(x,y，z+ n*sigma)，這裡n可以調節，一般選擇n=1,2,3（3sigma原則）。

Step2：

將P1，P2利用幀間位姿，投影至當前幀，投影點為u1，u2，連線u1，u2就是我們所要計算的極線。

SVO工程裡，實現在Matcher.cpp裡的findEpipolarMatchDirect()函式裡。

REMODE工程裡，實現在epipolar.cpp seedEpipolarMatchKernel()函式裡。

3.2.2 計算仿射矩陣

為什麼要計算仿射矩陣？

我們知道，同一張影象在經過旋轉平移後，同一個場景在影象上的成像位置就發生了變換。

在畫素做匹配時，我們需要用畫素周圍的資訊（一般是矩形視窗）來描述本畫素的特徵。

設想一下，如果幀間影象發生了旋轉，我們還用同樣的視窗（當前幀的視窗座標和種子所在幀視窗座標一樣）

來描述搜尋點，是不是不太合適？

3.2.3 搜尋匹配

跟蹤部分的匹配，是靠特徵對齊完成的，不需要極線搜尋，這是因為在深度和位姿都比較準確的情況下，

用特徵對齊可以完成匹配。

但是，深度估計卻不能這樣幹，它需要極線搜尋，因為深度未知或者深度不確定性太大。

SVO選用ZMSSD，通過8*8矩形patch來描述畫素，用於計算種子和當前幀搜尋點的相似性。

實際上，在svo搜尋匹配過程中，當計算的極線小於兩個畫素時，直接採用影象對齊，

因為這個時候深度不確定較小（可以通過極線的計算方式想一下為什麼）。

否則，沿極線搜尋匹配。程式碼在findEpipolarMatchDirect（）裡，

3.2.4三角測量恢復深度以及匹配不確定性的計算

經過搜尋匹配後，能夠得到種子p以及種子p在當前幀上的匹配畫素點p’，

通過三角測量，就可以恢復種字p的深度。

原理可以參考 http://blog.csdn.net/zhubaohua_bupt/article/details/74926111

實現部分：

多次三角測量的深度是為了，融合得到種子較準確的深。那麼既然有融合，不同測量值肯定有不同權重。

不確定性就是用來計算權重的。在SVO中，深度的不確定被認為是，

在匹配時，誤匹配一個畫素所帶來的最大深度誤差。

其計算很簡單，可以直接看論文。

3.2.5 深度融合

SVO的融合是不斷利用最新時刻深度的觀測值，來融合上一時刻深度最優值，直至深度收斂。

深度資料具體融合過程的過程如下，

3.2.6 平滑去噪

這一步在SVO裡沒有，在REMODE裡，作者加上這一步驟，對深度圖有不錯的去噪平滑效果，如下圖。

這個就不細說了，因為這一步驟本身與SVO無關，有興趣的話可以看一下論文[1],作者通過構造一個能量函式，

然後迭代優化能量函式，當能量函式最小時，就完成平滑去噪。

 至此，我們探討了SVO整個深度濾波。

REMODE論文：

[1] MatiaPizzoli,Christian Forster, and Davide Scaramuzza. REMODE: Probabilistic,monocular densereconstruction in real time. In International Conference onRobotics andAutomation (ICRA), pages 2609–2616, Hong Kong,China, June 2014.