對顯著性檢測的一些瞭解：

一般認為，良好的顯著性檢測模型應至少滿足以下三個標準：

1）良好的檢測：丟失實際顯著區域的可能性以及將背景錯誤地標記為顯著區域應該是低的；

2）高解析度：顯著圖應該具有高解析度或全解析度以準確定位突出物體並保留原始影象資訊；

3）計算效率：作為其他複雜過程的前端，這些模型應該快速檢測顯著區域。

最早在心裡學和神經科學等多個學科上，就開始進行顯著物體的檢測。在計算機視覺領域，已經在人類關注機制的建模方面做出了努力，特別是自下而上的注意機制。 這種過程也稱為視覺顯著性檢測。在檢測顯著性區域時通常分為自上而下和自下而上兩種方法，在本文中主要運用自下而上的方法。

1）自上而下（top-down）：即從比較一般的規則開始，逐漸增加新文字以縮小規則覆蓋範圍，直到滿足預定條件為止，也稱為生成-測試（generate-then-test）法，是規則逐漸特化（specialization）的過程，是從一般到特殊的過程。

2）自下而上（bottom-up）：即從比較特殊的規則開始，逐漸刪除文字以擴大覆蓋範圍，直到滿足條件為止；也稱為資料驅動（data-driven）法，是規則逐漸泛化（generalization）的過程，是從特殊到一般的過程。

自頂向下是覆蓋範圍從大到小搜尋規則，自底向上則正好相反；前者更容易產生泛化效能較好的規則，而後者更適合於訓練樣本較少的情形；另外，前者對噪聲的魯棒性比後者要強；因此，在命題規則學習中通常使用前者，而後者則在一階規則學習這類假設空間非常複雜的任務使用較多。

傳統的顯著性檢測方法：

1. 模擬生物體視覺注意機制的選擇性注意演算法。

方法：特徵提取->歸一化->特徵綜合/顯著度計算->顯著性區域劃分/興趣點標定。

顯著值是畫素點在顏色、亮度、方向方面與周邊背景的對比值。

L. Itti, C. Koch, & E. Niebur .A model of saliency based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1254-1259, 1998.

2. 模型是在Itti的模型基礎之上運用馬爾可夫隨機場的特點構建二維影象的馬爾可夫鏈，通過求其平衡分佈而得到顯著圖。

演算法步驟：

特徵的提取：與Itti 演算法類似 

顯著圖生成 ：馬爾可夫鏈方法         將低層視覺機理與數學計算融合   

J. Harel, C. Koch, &P. Perona. Graph-based visual saliency. Advances in Neural Information Processing Systems, 19:545-552, 2006.

3. 基於空間頻域分析的演算法，顯著圖通過對剩餘譜R(f)做傅立葉逆變換得到。

Xiaodi Hou, Jonathan Harel and Christof Koch: Image Signature: Highlighting Sparse Salient Regions (PAMI 2012)

4. 在Spectral Residual基礎之上提出的，該方法通過計算影象的四元傅立葉變換的相位譜得到影象的時空顯著性對映。

事實上，影象的相位譜即影象中的顯著性目標。影象中的每一個畫素點都用四元組表示：顏色，亮度和運動向量。 

PQFT模型獨立於先驗資訊，不需要引數，計算高效，適合於實時顯著性檢測。

Chenlei Guo, Qi Ma, Liming Zhang: Spatio-temporal Saliency detection using phase spectrum of quaternion fourier transform. CVPR 2008 

5. 這篇文章中，他們提出應當同時考慮區域性資訊和全域性資訊，例如注意力應該集中在某些特定區域而不是分散，距離視覺焦點更近的點容易被觀察到等等，效果拔群。

 S. Goferman, L. Zelnik-Manor, and A. Tal. Context-Aware Saliency Detection. CVPR 2010.

 Saliency Detection via Graph-Based Manifold Ranking通過基於圖形的流型排序進行顯著性檢測

本文的目的：綜合利用影象中背景、前景的先驗位置分佈及連通性，得到顯著物體分割的更好結果。

採用的方法：通過基於圖的流形排序對影象元素（畫素或區域）與前景線索或背景先驗的資訊進行排序。影象元素的顯著性是基於給定種子（queries）的相關性來定義的。通過流行排序的方法將此先驗擴散到並增加得到前景的比較可靠的估計。這些節點基於背景和前景種子的相似性來排序（通過關聯矩陣（affinity matrices））。隨後將前景的資訊用類似的流行排序的方法加強，顯著性檢測以兩階段方案進行，以有效地提取背景區域和前景顯著物件。

演算法流程： SLIC影象過分割；構建相對應的圖；背景先驗的流行排序演算法；自適應分割；前景上的流形排序演算法

我們觀察到背景通常呈現與四個影象邊界中的每一個的區域性或全域性外觀連通性，並且前景呈現外觀一致性。在這項工作中，我們利用這些線索來計算基於超畫素排名的畫素顯著性。對於每個影象，我們構造一個閉環圖，其中每個節點都是一個超畫素。我們將顯著性檢測建模為流形排序問題，並提出了用於圖形標記的兩階段方案。在第一階段，我們通過使用影象每一側的節點作為標記的背景種子點來開拓邊界先驗。從每個標記結果中，我們根據節點與這些種子點的相關性（即排名）計算節點的顯著性作為背景標籤。然後將四個標記的圖整合以生成顯著圖。在第二階段，我們將在第一階段的結果顯著對映進行二值分割，並將標記的前景節點作為顯著種子點。基於每個節點與最終對映的前景種子點的相關性來計算每個節點的顯著性。

 詳細流程：

1. Graph Construction 圖形構建

我們構造單層圖G =（V，E），如圖2所示，其中V是一組節點，E是一組無向邊。在這項工作中，每個節點都是由SLIC演算法生成的超畫素。

使用k-regular圖來利用空間關係。首先，每個節點不僅連線到與其相鄰的節點，還連線到與其相鄰節點共享公共邊界的節點（參見圖2）。通過擴充套件具有相同k度的節點連線範圍，我們有效地利用了局部平滑線索。其次，我們強制連線影象四邊的節點，即任何一對邊界節點都被認為是相鄰的。因此，我們將該圖表示為閉環圖。當顯著物件出現在影象邊界附近或某些背景區域不相同時，這些閉環約束很有效。

由於邊緣的約束，很明顯構造的圖形是稀疏連線的。也就是說，關聯矩陣W的大多數元素是零。在這項工作中，兩個節點之間的權重由：

其中ci和cj表示對應於CIELAB顏色空間中的兩個節點的超畫素的平均值，並且σ是控制權重強度的常數。權重是根據顏色空間中的距離計算的，因為它已被證明在顯著性檢測中是有效的。當空間距離減小時，節點之間的相關性增加，這是顯著性檢測的重要資訊。通過權重我們將鄰接矩陣W可以求出。

2. Manifold Ranking 流行排序

 給定資料集X={x1,…,xl,xl+1,…,xn}∈R（m*n），一些資料點被標記成種子點，其餘的節點需要根據他們與種子點的相關性進行排序。讓f：X→Rn記作成一個排序函式，他對於每一個數據點xi分配一個排序值fi，f可以被看成一個向量f=[f1,f2,…,fn]T.讓y=[y1,y2,…,yn]T作為一個指示向量，如果xi是一個種子點，則yi=1，否則等於0。然後，我們在資料集上定義一個圖G=（V，E），這裡V代表資料集X，邊緣E由鄰接矩陣W=[wij]n*n加權。通過求解以下優化問題來計算種子點的最佳排名：

 （1）

其中引數μ控制平滑度約束（第一項）和擬合約束（第二項）的平衡。 也就是說，良好的排名函式不應該在附近點之間變化太多（平滑約束），並且不應該與初始種子點賦值（擬合約束）相差太多。 通過將上述函式的導數設定為零來計算最小解。通過變換，最終的的排名函式可以寫成：

 核心公式

3. Saliency Measure 顯著性測量

給定表示為圖形的輸入影象和一些顯著的種子節點，每個節點的顯著性被定義為由等式3計算的其排名分數，等式3被重寫為f * = Ay以便於分析。矩陣A可以被認為是學習的最佳關聯矩陣，其等於（D-αW）-1。第i個節點的排名得分f *（i）是第i行的A和y的內積。因為y是二進位制指示符向量，所以f *(i)也可以被視為第i個節點與所有種子點的相關性的總和。

在傳統的排序問題中，種子點是用參考影象手動標記的。然而，由於所提出的演算法選擇了顯著性檢測的種子點，其中一些可能是不正確的。因此，我們需要為每個種子點計算置信度（即顯著性值），其被定義為由其他種子點（除了其自身）排名的排名得分。為此，我們在通過公式3計算排名分數時將A的對角元素設定為0。最後，我們使用歸一化排名得分f *來衡量節點的顯著性。當給出顯著的種子點時，使用1-f *來給出背景種子點。

4. Two-Stage Saliency Detection 兩個階段的顯著性檢測

 這一節詳細介紹了使用背景和前景種子點排名的自下而上顯著性檢測的兩階段方案。

 4.1 Ranking with Background Queries 背景種子點排序

使用影象邊界上的節點作為背景種子，即標記資料（種子點樣本）來對所有其他區域的相關性進行排序。具體來說，使用邊界先驗構建四個顯著圖，然後將它們整合到最終對映中，這被稱為分離/組合（SC）方法。

以頂部影象邊界為例，我們將此側的節點用作種子點，將其他節點用作未標記的資料。因此，給出指示符向量y，並且基於等式3中的f*對所有節點進行排序。它是一個N維向量（N是圖的節點總數）此向量中的每個元素表示節點與背景種子點的相關性，其補碼是顯著性度量。我們將此向量標準化為0到1之間的範圍，使用頂部邊界先驗的顯著性對映，St可寫為：

其中i表示索引圖中的超畫素節點， f*（i）表示歸一化向量。

類似地，我們使用底部，左側和右側影象邊界作為種子點來計算其他三個邊界Sb，S1和Sr的顯著性對映。我們注意到，顯著圖是用不同的指標向量y計算的，而權重矩陣和度矩陣D是固定的。也就是說，我們需要為每個影象計算一次矩陣的逆（D-αW）。由於超畫素的數量很小，因此矩陣在方程3中的逆矩陣可以有效地計算。因此，四個對映的總計算負荷很低。通過以下過程整合四個顯著性圖：

使用SC方法生成顯著性圖有兩個原因。首先，不同側面的超畫素通常不相似，應該具有較大的距離。如果我們同時使用所有邊界超畫素作為種子點（即，指示這些超級畫素是相似的），則標記結果通常不太理想，因為這些節點不可壓縮（參見圖4）。其次，它減少了不精確種子點的影響，即參考真實的突出節點被無意中選擇作為後臺種子點。如圖5的第二列所示，使用所有邊界節點生成的顯著性圖很差。由於標記結果不精確，具有顯著物件的畫素具有低顯著性值。通過整合四個顯著性圖，可以識別物件的一些顯著部分（儘管整個物件未被均勻地突出顯示），這為第二階段檢測過程提供了足夠的提示。

雖然顯著物件的大部分割槽域在第一階段突出顯示，但某些背景節點可能無法被充分抑制（參見圖4和圖5）。為了緩解這個問題並改善結果，特別是當物件出現在影象邊界附近時，通過使用前景種子點進行排名來進一步改進顯著性圖。

 4.2 Ranking with Foreground Queries  背景種子點排序

 第一階段的顯著性對映是使用自適應閾值的二分制分割（即顯著前景和背景），其便於選擇前景顯著物件的節點作為種子點。我們期望所選擇的種子點儘可能多地覆蓋顯著物件區域（即具有高召回率）。因此，閾值被設定為整個顯著圖上的平均顯著性。一旦給出顯著種子點，就形成指示符向量y使用等式3以計算排序向量f*。如在第一階段中執行的那樣，排名向量f*在0和1的範圍之間歸一化，以形成最終的顯著圖。

其中i是在圖上超畫素節點的索引，f*表示歸一化向量。

我們注意到在這個階段可能會錯誤地選擇節點作為前景種子點。儘管有一些不精確的標記，但是如圖6所示，所提出的演算法可以很好地檢測到顯著物件。這可以解釋如下。突出物體區域通常相對緊湊（在空間分佈方面）並且外觀均勻（在特徵分佈方面），而背景區域則相反。換句話說，物件內相關性（即顯著物件的兩個節點）在統計上遠大於物件背景和背景內相關性，這可以從關聯矩陣A推斷出。為了顯示這種現象，我們計算了從具有真實標籤[2]的資料集中取樣的300個影象中的每一個A中的物件內，背景內和物件與背景的平均相關性值，如圖7所示。因此，物件節點與參考值得顯著種子點的相關性值總和遠大於對所有種子點的背景節點的相關性值的總和。也就是說，可以有效地抑制背景顯著性（圖6的第四列）。類似地，儘管圖5的第一階段之後的顯著性圖不精確，但是在第二階段中前景種子點的顯著性對映之後可以很好地檢測到顯著物件。演算法總結了所提出的顯著物件檢測演算法的主要步驟。

演算法：基於流形排序的自下而上顯著性

輸入：一幅影象和所需的引數

1. 將輸入影象分割成超畫素，構造具有超畫素作為節點的圖G，並通過等式4計算其度矩陣D和權重矩陣W。
2. 計算（D-αW）-1並將其對角線元素設定為0。
3. 形成指示符向量y，其中影象每一側的節點作為種子點，並通過等式3和5計算它們對應邊界的對映。
4. 二分值Sbq形成突出的前景種子點和指示符向量y。通過等式3和7計算顯著性對映Sfq。

輸出：代表每個超畫素的顯著性值的顯著性對映Sfq。

 MATLAB程式碼：

執行結果（自己隨機挑選的照片）：1.原始圖片 2.超畫素圖片 3.顯著性圖片第一階段 4. 顯著性圖片第二階段

5. 實驗結果

在三個資料集上評估所提出的方法。第一個是MSRA資料集[23]，其中包含5,000個影象，其中顯著區域的基本事實由邊界框標記。第二個是MSRA-1000資料集，它是MSRA資料集的一個子集，其中包含[2]提供的1,000個影象，其中包含用於顯著物件的精確的人工標記參考圖。最後一個是提議的DUT-OMRON資料集， 其中包含5個使用者的5,172個精心標記的影象。有關此資料集的源影象，ground-truth標籤和詳細說明，請訪問http://ice.dlut.edu.cn/lu/DUT-OMRON/Homepage.htm。　　

實驗設定：我們在所有實驗中設定超畫素節點的數量N=200。該演算法有兩個引數：方程4中的邊界權重σ，等式3中的平衡權重α。引數σ控制一對節點之間的權重強度，引數α平衡流形排序演算法正則化函式中的平滑約束和擬合約束。對於所有實驗，這兩個引數根據經驗選擇σ2= 0.1和α= 0.99。

評估指標：我們通過精確度，召回率和F度量來評估所有方法。精度值對應於正確分配給提取區域的所有畫素的顯著畫素的比率，而召回值被定義為檢測到的顯著畫素相對於地面實況數的百分比。與之前的工作類似，通過使用0到255範圍內的閾值對顯著性圖進行二值化來獲得精確度曲線。F度量是通過精度和召回的加權諧波計算的整體效能測量：

設定β2= 0.3來強調精度。

5.1  MSRA-1000

5.2 MSRA

5.3. DUT-OMRON

我們在DUT-OMRON資料集上測試所提出的模型，其中影象由五個使用者用邊界框註釋。類似於MSRA資料庫上的實驗，我們還計算了二元顯著圖的矩形，然後通過固定閾值和自適應閾值方法來評估我們的模型。圖12顯示建議的資料集更具挑戰性（所有模型執行得更差），從而為未來工作的改進提供了更多空間。

5.4 執行時間

6. 總結

提出了一種自下而上的方法，通過圖表上的流形排序來檢測影象中的顯著區域，其結合了局部分組線索和邊界先驗。我們採用兩階段方法，使用背景和前景種子點進行排名，以生成顯著性圖。我們在大型資料集上評估所提出的演算法，並通過與十四種最先進的方法進行比較來展示有希望的結果。此外，所提出的演算法在計算上是高效的。

本文兩篇的參考文獻也是很好的基礎學習資料：

1.D. Zhou, O. Bousquet, T. Lal, J.Weston, and B. Scholkopf. Learning with local and global consistency. In NIPS, 2003. 3

2. D. Zhou, J. Weston, A. Gretton, O. Bousquet, and B. Scholkopf. Ranking on data manifolds. In NIPS, 2004. 2, 3

 2018-08-31  00:46:05   裴佳倫