1. 程式人生 > >影象顯著性的理解

影象顯著性的理解

影象顯著性是影象中重要的視覺特徵,體現了人眼對影象的某些區域的重視程度。自從1998年Itti的工作以來,產生了大量的顯著性對映方法,影象顯著性也廣泛應用於影象壓縮、編碼、影象邊緣和區域加強、顯著性目標分割和提取等.

      對於一幅影象來說,使用者只對影象中的部分割槽域感興趣,這部分感興趣的區域代表了使用者的查詢意圖,而多數剩餘的不感興趣區域則與使用者查詢意圖無關.顯著區域是影象中最能引起使用者興趣、最能表現影象內容的區域.事實上,顯著區域的選擇是非常主觀的,由於使用者任務和知識背景的不同,對於同一幅影象,不同的使用者可能會選擇不同的區域作為顯著區域. 常用的方法是利用人的注意力機制為基礎計算影象的顯著度.認知心理學的研究表明,影象中有些區域能顯著的吸引人的注意,這些區域含有較大的資訊量.認知科學家已經提出了許多數學模型來模擬人的注意力機制.由於利用了影象認知過程中的一般規律,這樣提取的顯著區域比較符合人的主觀評價.
      影象顯著性分析應用廣泛,主要包括:基於顯著性區域的自適應影象壓縮和編碼,基於顯著性度量的影象邊緣或區域加強,基於顯著性分析的目標分割或提取等。
      目前出現越來越多的顯著性分析演算法,有些人將這些演算法進行了一定的分類。[8]中提到將目前顯著性分析的演算法分成三類:第一類是基於低層視覺特徵的顯著性分析演算法

,其代表性演算法是[1]中提出的演算法(Itti演算法),這是一種模擬生物體視覺注意機制的選擇性注意演算法,比較適合處理自然影象。第二類是不基於任何生物視覺原理的純數學計算方法,這類主要有[7]中提到的一種全解析度的演算法(AC演算法)和[9]中提出的基於空間頻域分析的剩餘譜演算法(SR演算法)。第三類是將前兩種進行融合的方法,其代表性演算法是[6]中提出基於圖論的演算法(GBVS演算法),這種演算法在特徵提取的過程中類似Itti演算法去模擬視覺原理,但在顯著圖生成的過程引入馬爾可夫連,用純數學計算的來得到顯著值。而在[10]中又將顯著性分析演算法分成以下三類:考慮區域性特徵的,例如Itti演算法和GBVS演算法;考慮整體性的
,例如SR演算法和[8]中提出的演算法(IG演算法);區域性與整體結合的,例如[10],[11]中提出的演算法。

        常用的顯著性方法介紹:

Itti "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis"
      Abstract—A visual attention system, inspired by the behavior and the neuronal architecture of the early primate visual system, is presented. Multiscale image features are combined into a single topographical saliency map. A dynamical neural network then selects attended locations in order of decreasing saliency. The system breaks down the complex problem of scene understanding by rapidly selecting, in a computationally efficient manner, conspicuous locations to be analyzed in detail.
      Index Terms—Visual attention, scene analysis, feature extraction, target detection, visual search.
GBVS "Graph-Based Visual Saliency"
      Abstract—A new bottom-up visual saliency model, Graph-Based Visual Saliency (GBVS), is proposed. It consists of two steps: rst forming activation maps on certain feature channels, and then normalizing them in a way which highlights conspicuity and admits combination with other maps. The model is simple, and biologically plausible insofar as it is naturally parallelized. This model powerfully predicts human xations on 749 variations of 108 natural images, achieving 98% of the ROC area of a human-based control, whereas the classical algorithms of Itti & Koch ([2], [3], [4]) achieve only 84%.
AC "Salient Region Detection and Segmentation"
      Abstract—Detection of salient image regions is useful for applications like image segmentation, adaptive compression, and region-based image retrieval. In this paper we present a novel method to determine salient regions in images using low-level features of luminance and color. The method is fast, easy to implement and generates high quality saliency maps of the same size and resolution as the input image.We demonstrate the use of the algorithm in the segmentation of semantically meaningful whole objects from digital images.
      Key words: Salient regions, low-level features, segmentation
IG "Frequency-tuned Salient Region Detection"
      Abstract—Detection of visually salient image regions is useful for applications like object segmentation, adaptive compression, and object recognition. In this paper, we introduce a method for salient region detection that outputs full resolution saliency maps with well-defined boundaries of salient objects. These boundaries are preserved by retaining substantially more frequency content from the original image than other existing techniques. Our method exploits features of color and luminance, is simple to implement, and is computationally efficient. We compare our algorithm to five state-of-the-art salient region detection methods with a frequency domain analysis, ground truth, and a salient object segmentation application. Our method outperforms the five algorithms both on the ground-truth evaluation and on the segmentation task by achieving both higher precision and better recall.
IG "Saliency Detection: A Spectral Residual Approach"
      Abstract—The ability of human visual system to detect visual saliency is extraordinarily fast and reliable. However, com- putational modeling of this basic intelligent behavior still remains a challenge. This paper presents a simple method for the visual saliency detection.
      Our model is independent of features, categories, or other forms of prior knowledge of the objects. By analyz- ing the log-spectrum of an input image, we extract the spectral residual of an image in spectral domain, and propose a fast method to construct the corresponding saliency map in spatial domain.
      We test this model on both natural pictures and artificial images such as psychological patterns. The result indicate fast and robust saliency detection of our method


參考文獻:
[1] L. Itti, C. Koch, & E. Niebur .A model of saliency based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1254-1259, 1998.
[2] L. Itti and C. Koch. Computational Model ling of Visual Attention. Nature Reviews Neuroscience, 2(3):194–203, 2001.
[3] C. Koch& S. Ullman . Shifts in selective visual attention: Towards the underlying neural circuitry. Human Neurobiology, 4(4):219-227, 1985.
[4] L. Itti, & P. Baldi . Bayesian surprise attracts human attention. Advances in Neural Information Processing Systems, 19:547-554, 2005.
[5] C. Koch and T. Poggio. Predicting the Visual World: Silence is Golden. Nature Neuroscience, 2(1):9–10, 1999.
[6] J. Harel, C. Koch, &P. Perona. Graph-based visual saliency. Advances in Neural Information Processing Systems, 19:545-552, 2007.
[7] R. Achanta, F. Estrada, P. Wils, & S. S¨usstrunk. Salient region detection and segmentation. International Conference on Computer Vision Systems, 2008, pp.66-75.
[8] R. Achanta, S. Hemami ,F. Estrada,& S. S¨usstrunk Frequency-tuned salient region detection. IEEE International Conference on Computer Vision and Pattern Recognition, 2009, pp.1597-1604.
[9] X,Hou &L,Zhang. Saliency Detection: A spectral residual approach. IEEE Conference on Computer Vision and Pattern Recognition, 2007, pp.1-8.
[10] S. Goferman, L. Zelnik-Manor &A. Tal r. Context-aware saliency detection. Conference on Computer Vision and Pattern Recognition, 2010, pp. 9-16.
[11] T. Liu, J. Sun, N. Zheng, X. Tang, and H. Shum. Learning to detect a salient object. Conference on Computer Vision and Pattern Recognition, 2007, pp.1-8

相關推薦

影象顯著理解

影象顯著性是影象中重要的視覺特徵,體現了人眼對影象的某些區域的重視程度。自從1998年Itti的工作以來,產生了大量的顯著性對映方法,影象顯著性也廣泛應用於影象壓縮、編碼、影象邊緣和區域加強、顯著性目標分割和提取等.       對於一幅影象來說,使用者只對影象中的部分割槽

簡單的影象顯著區域特徵提取方法-----opencv實現LC,AC,FT

上文講了幾種簡單的方法,顯著性檢測就是把一幅影象中最吸引人注意的部分提取出來。 我用opencv重寫了LC,AC,FT三種演算法,程式碼和效果如下: 1.,後面的方法其實大概都是基於這個實現的

視覺感知特性【3】基於視覺關注的影象顯著分析

      明天就要考科二了,今下午還任性的打球,打完球還逞能的做了30個俯臥撐,現在都感覺臂膀有點酸。祝我明天好運吧!今天是本月的最後一天,加油!       根據在視覺感知特此那個【1】中可知視覺關注是人類視覺系統資訊處理機制中一個重要的特性,所以研究基於視覺關注的影象

影象顯著區域提取[1]——研究現狀

1.Itti演算法 《A Model of Saliency-Based Visual Attention for Rapid Scene Analysis》 Step1:對輸入圖片1/2取樣,重複八次,最小尺度的圖片I8大小是原圖片I0的1/256,共

影象顯著論文(三)—Frequency-tuned Salient Region Detection

國慶十一長假回來,是得收收心學習學習了,不過國慶也沒去那裡玩,因為這人實在是不敢恭維啊,連站的地方都沒有了,中國這人口就是嚇死人。最近有那麼一點點時間,就趕緊把自己感興趣的學一學,要不然過一陣子老闆又給專案就沒時間學了,那麼就接著我們的影象顯著性學習之旅吧!這一篇不想介紹得

影象顯著檢測總結

這塊的工作一直在跟,一直沒有整理,看到別人整理的資料不錯,先加入作者連結: http://blog.csdn.net/anshan1984/article/details/8657176點選開啟連結 1. 早期C. Koch與S. Ullman的研究工作. 他們提出

影象顯著論文(五)——Global Contrast based Salient Region Detection

這篇論文其實在作者的主頁上面已經給出中文版的論文了,所以大家看看中文版的論文也就可以看懂了,這裡不想多做解析,只是貼出來自己以後可以看,算是顯著性論文整個脈絡中的一篇吧。 1、引言 論文的提出主要是根據以下幾點考慮 根據這幾點的分析,作者在文章中提出了兩種方法,分別是基於

影象顯著檢測——時域分析(譜殘差法、相位譜法)

1.基於譜殘差法的顯著性檢測 (Saliency Detection: A Spectral Residual Approach) 給定一幅影象,I(x)首先計算其2維離散傅立葉變換,將其從空間域轉換到頻域,對幅值取對數後得到log譜L(f): 式中F代表2維離散

【通俗理解顯著檢驗,T-test,P-value

顯著性檢驗,判定實驗結果是否由隨機誤差導致的。舉例很好,很清楚 雖然樣本中,均值蘇州銷售額大於鄭州,但T-test發現這是隨機導致的,P>0.05,當樣本量足夠大可能他們的銷售額就沒有差異了 假設:兩個樣本集之間不存在任何區別 結果:在顯著性水平α =0.05

影象處理:顯著區域檢測總結(一)

1.Mingming Cheng,Global Contrast based Salient Region Detection,CVPR2011 1) HC:基於直方圖對比度的方法,每一個畫素的顯著性值是由它與影象中所有其他畫素的顏色差異來確定,得到全解析度顯著性影象; 2) RC:基於區域性對比度的方法,

CAP 可用理解

paxos 中心 性能 cap 機房 nbsp 城市 壓力 搶占 從容災角度看可用性. 多機同時返回. 主通過 heart-beat 腦裂. 用 paxos. 性能遠距離. 對整體壓力較大. 從用戶體驗的角度看單數據可用性: 不考慮城市災備的情況發生.只有單機房的

Java多態理解

return 準備 大量 綁定 flash logs win cit bin Java多態性理解 Java中多態性的實現 什麽是多態 面向對象的三大特性:封裝、繼承、多態。從一定角度來看,封裝和繼承幾乎都是為多態而準備的。這是我們最後一個概念,也是最重要的知識點。

fold change(差異倍數), P-value(差異的顯著)

log test exp res val count adjust 數值 gen fold change的意思是樣本質檢表達量的差異倍數,log2 fold change的意思是取log2,這樣可以可以讓差異特別大的和差異比較小的數值縮小之間的差距。Q-value,是P-v

R語言與顯著檢驗學習筆記

sdn view 是否 通過 相等 oar p值 nor pro 一、何為顯著性檢驗 顯著性檢驗的思想十分的簡單,就是認為小概率事件不可能發生。雖然概率論中我們一直強調小概率事件必然發生,但顯著性檢驗還是相信了小概率事件在我做的這一次檢驗中沒有發生。

視頻顯著檢測-----Predicting Video Saliency using Object-to-Motion CNN and Two-layer Convolutional LSTM

layer lin -- 分享圖片 組合 object idt red 9.png 幀內顯著性檢測: 將卷積網絡的多層特征進行組合通過unsampling 得到粗顯著性預測; 幀間顯著性檢測: (粗檢測結果+新卷積網絡的特征圖,最後+之前卷積網絡的卷積特征輸入到LST

spring事務傳播理解

code 捕獲 就會 拋出異常 事務 支持 tro 復制代碼 區分 什麽是spring的事務傳播性 個人的理解, 首先先說一下事務傳播性,事務傳播性就是,事務中還包括另外的事務,事務之間是怎麽相互影響,然後如何執行的,這就是事務傳播性 spring事務傳播性就是spring

顯著檢測(saliency detection)評價指標之KL散度距離Matlab代碼實現

mean enc gray SM tla function cor 代碼 ati 步驟1:先定義KLdiv函數: function score = KLdiv(saliencyMap, fixationMap) % saliencyMap is the saliency

視覺顯著頂尖論文總結

image 位置 AC defined mil 接受 自己 操作 CA https://www.cnblogs.com/mlblog/p/4368062.html 1、A model of saliency-based visual attention for rapi

R語言可視化學習筆記之添加p-value和顯著標記--轉載

let run compare tac rod 學習 line 需要 abs https://www.jianshu.com/p/b7274afff14f?from=timeline #先加載包 library(ggpubr) #加載數據集ToothGrowth dat

顯著檢測:'Saliency Detection via Graph-Based Manifold Ranking'論文總結

重要 效果 顏色空間 span 底部 圖1 mea gray log 對顯著性檢測的一些了解: 一般認為,良好的顯著性檢測模型應至少滿足以下三個標準: 1)良好的檢測:丟失實際顯著區域的可能性以及將背景錯誤地標記為顯著區域應該是低的; 2)高分辨率:顯著圖應該具有高分辨率或