影象顯著性論文(三)—Frequency-tuned Salient Region Detection
國慶十一長假回來,是得收收心學習學習了,不過國慶也沒去那裡玩,因為這人實在是不敢恭維啊,連站的地方都沒有了,中國這人口就是嚇死人。最近有那麼一點點時間,就趕緊把自己感興趣的學一學,要不然過一陣子老闆又給專案就沒時間學了,那麼就接著我們的影象顯著性學習之旅吧!這一篇不想介紹得太詳細了,因為這一篇說到的顯著性計算實在是太簡單了,兩條公式就搞定了,但為什麼引用率這麼高呢,因為它把影象顯著性提升到應用層面上來了,使人們更多的關注整個顯著性區域而不是以前顯著性論文所講的,只有一些注視點。
1、其他顯著性方法介紹
現在的顯著性方法可以大致分為三類,分別是 biologically based, purely computational, or a combination,基於biologically的有Itti的 A model of saliency-based visual attention for rapid scene analysis也就是第一篇介紹的論文,基於purely computational的有X. Hou and L. Zhang 的Saliency detection: A spectral residual approach也即是第二篇介紹的論文,基於combination的有J. Harel, C. Koch, and P. Perona的Graph-based visualsaliency也即是biological和computational的結合。在頻率域分別對5種顯著性方法進行討論,5種方法分別是IT,MZ,GB,SR,AC。由於這五種方法在尺度空間對影象頻率都有一定的損失,所以最後產生的模糊的顯著圖,如下圖所示。
表2說明了每種方法最後產生的顯著圖的頻率範圍,影象大小,複雜度,從上圖和表中可以看出IG方法即本文方法儲存的影象資訊比較全,並且輸出的是全解析度影象。
2、本文方法介紹
對於一個顯著性區域而不是注視點,應該滿足以下5點要求:
設Wlc為低頻閾值,Whc為高頻閾值,為了滿足第一點,強調最大的顯著性目標,所以Wlc必須非常小,這也滿足第二點要求,強調整體顯著性區域;為了很好的定義顯著性目標的邊界,所以需要保留高頻部分,於是Whc需要高一點,滿足第三個要求,但是又要忽略掉一些噪聲,即第四個要求,所以也不能太高。從以上的分析可以得出,我們最後需要一個較寬的頻率範圍[Wlc,Whc]。
這裡使用多個高斯差分的結合作為我們的帶通濾波器。下圖為高斯差分公式。
當我們設定兩個高斯方差成一定比例時,如1:1.6,則高斯差分的聯合可由下面公式給出
當我們取的比例為1.6時,則每做一次高斯差分,就是一個邊緣檢測器,那麼將所有的高斯差分結合起來,就相當於把所有的邊緣檢測器從不同的尺度空間中結合起來,這也就說明了為什麼顯著區域會全部被覆蓋而只是得到一些邊緣或者點。(簡單的說就是每做一次高斯差分就保留一定範圍的頻率,把所有的高斯差分結合起來就是把所有的頻率蒐集起來,就達到我們的要求了),所以引數的選擇很重要。文章中介紹確定σ1、σ2我們便可以得到一個頻帶,但是用一個具有實際頻寬的頻帶去處理影象往往得不到我們想要的效果,這裡,取σ1為無窮大,當σ1為無窮大時,對影象的濾波就是計算整幅影象的平均值,而σ2取一個小的高斯核,可以濾去一些噪聲。最後得到方程為:
先對影象進行高斯濾波,得到濾波後的影象,取其畫素點的Lab值Iwhc(x,y),然後計算影象在LAB空間的均值Iμ,最後求歐氏距離,得到顯著圖。工作流程如下:
3、影象分割
以上就是影象顯著圖提取的介紹,非常簡單,但是優點還是很明顯的,特別是作者把它應用在影象分割上,效果很好。
本次分割主要有兩個內容:①使用meanshift對影象進行分割;②介紹一種依賴於顯著性圖的自適應分割方法
分割步驟:
1、用meanshift方法將原圖片分割成K大塊;
2、計算每一塊對應的顯著圖的平均值Sk;
3、計算整幅顯著圖的平均值Sμ;
4、計算自適應閾值Ta=2*Sμ;
5、當Sk>Ta時,則認為該區域為顯著性圖,保留;
工作過程為:
本文參考資料
1、Frequency-tuned Salient Region Detection原文
4、PPT介紹
自己實現了一下,將程式碼改為OpenCV程式碼,執行環境是vs2010+OpenCV2.4.8,執行結果如下,未加影象分割程式碼。