基於深度融合的RGBD顯著目標檢測

此文為07-ECCV-Accurate RGB-D Salient Object Detection via Collaborative Learning中所註明的RGB-D首例研究，故在此全文翻譯。

摘要：RGBD顯著性檢測設計了各種低水平的顯著性線索，如顏色和深度對比度特徵以及背景和顏色緊緻度先驗。然而，這些低水平的顯著性線索如何相互作用，以及如何有效地結合它們來生成主顯著性圖仍然是一個具有挑戰性的問題。在本文中，我們設計了一種新的卷積神經網路（CNN）來自動學習RGBD顯著目標檢測的互動機制。與現有的將原始影象畫素直接輸入到CNN的方法相比，該方法利用了傳統顯著性檢測中獲得的知識，採用了各種靈活且可解釋的顯著性特徵向量作為輸入。這將引導CNN學習現有特徵的組合，以便更有效地預測顯著性，與直接對畫素進行操作相比，這是一個不太複雜的問題。然後，我們將基於超畫素的拉普拉斯傳播框架與經過訓練的CNN相結合，利用輸入影象的內在結構來提取空間一致的顯著性圖。對三個資料集的大量定量和定性實驗評估表明，所提出的方法始終優於最先進的方法。
關鍵詞：RGBD顯著性檢測，卷積神經網路，拉普拉斯傳播(Laplacian propagation)。

I 導言

顯著性檢測是預測人類在影象中的位置的一種方法，近年來引起了廣泛的研究興趣。它是許多工的重要預處理步驟，如影象分類、影象重定目標和物件識別[1]、[2]、[3]、[4]。與RGB顯著性檢測不同，RGB顯著性檢測受到了大量的研究關注，但對RGBD案例的探索卻很少。最近出現的感測技術，如飛行時間感測器和Microsoft Kinect，在捕獲RGBD影象方面提供了卓越的能力和靈活性[5]，[6]。檢測RGBD顯著性已成為許多應用的必要條件，如3D內容監視、檢索和影象識別[7]、[8]、[9]。在本文中，我們重點研究如何將RGB資訊與附加深度資訊結合起來進行RGBD顯著性檢測[10]，[11]。

根據使用的顯著性定義，顯著性檢測方法可分為兩類：自頂向下方法和自底向上方法[17]，[18]。自上而下的顯著性檢測是一個依賴於任務的過程，它結合了高階特徵來定位顯著物件。相比之下，自底向上的方法是無任務的，並且利用生物動機的低階特徵來估計顯著區域。現有的自底向上的顯著性檢測方法大多集中於設計各種低水平的線索來表示顯著的物件。然後，基於這些低階特徵生成的顯著性圖被融合到主顯著性圖中。由於人類的注意力優先被高對比度區域及其周圍環境所吸引，因此基於對比度的特徵（如顏色、邊緣方向或紋理對比度）在顯著物件的提取中起著至關重要的作用。背景[19]和顏色緊湊性優先[20]從不同角度考慮顯著物件。前者利用了大多數顯著物件遠離影象邊界的事實，而後者利用了顯著物件的顏色緊湊性。除了RGB資訊外，深度已被證明是提取顯著性的實用線索[21]、[22]、[23]、[24]。大多數現有的3D顯著性檢測方法要麼使用深度資訊對RGB顯著性貼圖進行加權[21]，[24]，要麼將深度線索視為獨立的影象通道[22]，[23]。

圖1：示出各種顯著圖合併方法的問題的示例。（a） 原始RGB影象。（b） 原始深度影象。（c） 地面真實顯著圖。（d） 由LMH生成的顯著性圖[12]。（e） 由ACSD生成的顯著性圖[13]。（f） GP生成的顯著性圖[14]。（g） LBE生成的顯著性圖[15]。（h） 至（j）顯示（d）、（e）、（f）和（g）的顯著性圖積分結果。（h） 線性組合（即平均值）。（i） MCA整合[16]。（j） 基於CNN的融合。（k） 通過提出的超特徵融合方法生成顯著性圖。

儘管這些特性已經證明是成功的，但是沒有一個特性對所有場景都有效，因為它們從不同的角度定義了顯著性。不同功能的組合可能是一個很好的解決方案。然而，手動設計一種互動機制來整合本質上不同的顯著性特徵是一個具有挑戰性的問題。例如，線性組合這些特徵產生的顯著性圖不能保證改進的結果（如圖1h所示）。[25]、[26]、[16]、[27]、[12]、[14]中還提出了其他幾種更復雜的組合演算法。Qinet等人[16]提出了一種多層元胞自動機方法（MCA，一種貝葉斯框架），通過利用每種顯著性檢測方法的優點來合併不同的顯著性圖。最近，已經設計了幾種啟發式演算法，用於將2D相關顯著性對映與深度誘導顯著性對映相結合[12]，[14]。然而，由於受計算顯著值的限制，這些顯著圖組合方法無法糾正錯誤估計的顯著區域。例如，在圖1中，基於啟發式的演算法（圖1d至1g）無法正確檢測顯著物件。當這些顯著性圖用於進一步融合時，簡單線性融合（圖1h）和MCA積分（圖1i）都無法恢復顯著物件。我們想知道是否可以通過進一步採用卷積神經網路技術來訓練顯著性圖積分模型來開發一種好的積分方法來解決這個問題。圖1j所示的結果影象表明，顯著性圖整合受到輸入顯著性圖質量的強烈影響。基於這些觀察，我們後退一步，考慮更為粗糙和靈活的顯著性特徵。