有什麼用？

深度圖在計算機視覺中有非常廣泛的應用，比如前背景分割（用於背景虛化、美顏、重對焦等）、三維重建（用於機器人導航、3D列印、視效娛樂等）。目前能夠直接快速獲得深度圖的方法就是使用深度相機，不同深度相機獲取深度圖原理見：《深度相機原理揭祕–飛行時間（TOF）》、《深度相機原理揭祕–雙目立體視覺》、《深度相機原理揭祕–結構光（iPhone X 齊劉海原理）》。

但是很多時候由於硬體的限制，我們不能通過深度相機獲得深度圖。只能利用單目相機通過相關演算法來間接計算深度圖。比較有名的方法就是運動恢復結構（Structure from Motion），也就是說，我們需要移動（通常需要較大的移動）單目相機從而獲得不同視角的多張圖片才能間接得到深度圖。

從微小運動中獲取深度圖（depth from small motion）是其中一個比較巧妙的、用單目相機間接獲得深度圖的方法。該方法利用非常微小的運動來計算深度圖，這個“非常微小的運動”的目的是在使用者察覺不到的時間（比如手機使用者尋找最佳拍攝位置時的微小移動，或者使用者拿著相機按快門前的預覽時間，或者類似live photo等）內得到深度圖。如果該方法可以獲得較高質量的深度圖，就可以一定程度（靜態場景下）上替代基於RGB雙目立體視覺的深度相機（如手機雙攝，手機雙攝介紹見《為什麼會出現雙攝像頭手機？》系列文章）的功能。

下面來介紹該技術的一個應用。如下圖所示，(a) 是輸入的一個微運動視訊中所有幀的平均疊加圖，可以看到運動真的是非常微小的。(c) 是演算法計算的深度圖，從放大的細節來看，邊緣還是很銳利的，(d) 是利用得到的深度圖進行重對焦的效果。我們看到對焦主體比較清晰，而位於主體前後景深的物體都已經虛化。

什麼原理？

本文的亮點之一就是可以對未標定的相機進行深度圖和內外引數同時估計。大致流程如下：

1、以第1幀作為參考幀，檢測當前幀和參考幀的Harris角點，用KLT法進行特徵點匹配。

2、先假設初始的相機內參和畸變引數，利用光束平差法最小化重投影誤差，迭代得到相機的內外引數、特徵點對應的三維空間點。其原理示意圖如下所示。Uij是第i張影象相對於影象中心的第j個特徵點的畸變座標，紅色點是其去畸變後的座標。藍色點是重投影的座標。目標就是最小化第i幀中紅色點和藍色點的位置誤差。

3、根據得到的內外引數用平面掃描法進行稠密立體匹配，並採用贏家通吃的策略得到粗糙的深度圖。微小運動有如下優勢：由於時間短，移動小，視場角變化小，可以近似認為所有幀在該時間段內的灰度值保持不變。這個假設對於可靠的稠密畫素匹配很重要。

4、將彩色圖作為引導圖，對深度圖進行精細化。獲得深度圖的過程如下：
(a) 用贏家通吃的策略得到一個粗糙的深度圖；(b) 去除不可靠的深度值；(c) 深度圖精細化後的結果；(d) 參考影象。

該演算法的虛擬碼流程圖如下所示：

效果怎麼樣？

該演算法測試效果如下圖所示。下圖左側是用iPhone 6拍攝的1s時間的微小運動連續影象的平均圖，從中可以看出運動非常小。右側是演算法輸出的對應深度圖。

該演算法和其他演算法在重對焦效果上的對比如下圖所示。可以看到該演算法能夠在背景虛化的同時保持相對銳利的邊緣。

儘管該演算法設計的初衷就是用於微小運動的情況，但是如果運動特別微小，估計的相機位姿就會非常不穩定。另外如果影象邊緣缺乏有效的特徵點，會導致徑向畸變引數的估計變的不準確。上述情況會導致深度圖出現較大的誤差。

該演算法只適合於靜態場景，如果有快速移動物體，該演算法會失敗。另外要注意的是，該演算法估計的深度圖是相對深度。

執行時間：

該演算法是在個人桌上型電腦上進行測試。電腦配置：Intel i7-4970K 4.0Ghz CPU，16GB RAM。對於一個解析度為1280x720的30幀的微小運動視訊，該演算法（未優化）完成特徵提取、跟蹤、光束平差需要1分鐘。稠密立體匹配階段耗時10分鐘。

有什麼參考資料？

本文演算法對應的文章：
Ha H, Im S, Park J, et al. High-Quality Depth from Uncalibrated Small Motion Clip[C]// Computer Vision and Pattern Recognition. IEEE, 2016:5413-5421.

上述論文的優化及加速版：
Monocular Depth from Small Motion Video Accelerated，2017 International Conference on 3D Vision

本文首發於微信公眾號：「計算機視覺 life」