機器視覺表面缺陷檢測綜述
紋理是表達影象的一種重要特徵,它不依賴於顏色或亮度而反映影象的同質現象,反映了表面結構組織排列的重要資訊以及它們與周圍環境的聯絡。與顏色特徵和灰度特徵不同,紋理特徵不是基於畫素點的特徵,它需要在包含多個畫素點的區域中進行統計計算,即區域性性;同時,區域性紋理資訊也存在不同程度的重複性,即全域性性。紋理特徵常具有旋轉不變性,並且對於噪聲有較強的抵抗能力。
根據Tuceryan和Jain的分類,基於的紋理特徵提取方法有統計法、訊號分析法、模型法、結構法和幾何法。
1) 統計法。統計方法將紋理看用隨機現象,從統計學的角度來分析隨機變數的分佈,從而實現對影象紋理的描述。直方圖特徵是最簡單的統計特徵,但它只反映了影象灰度出現的概率,沒有反映畫素的空間分佈資訊;灰度共生矩(GLCM)是基於畫素的空間分佈資訊的常用統計方法;區域性二值模式(LBP)具有旋轉不變性和多尺度性、計算簡單;此外,還有行程長度統計法、灰度差分統計法等,因計算量大、效果不突出而限制了其應用。
(1) 直方圖特徵。影象的直方圖提供了影象的許多資訊和特徵,常用的直方圖特徵有最大值、最小值、均值、中值、值域、熵、方差和熵等。此外,直方圖對比統計特徵,如L1範數、L2範數、Bhattacharyya距離、Matusita距離、歸一化相關係統等,亦常用作統計特徵[70]。
直方圖特徵方法計算簡單、具有平移和旋轉不變性、對顏色畫素的精確空間分佈不敏感等,所以在表面檢測、缺陷識別得到不少應用。
(2) 灰度共生矩。Haralick等人[71]提出的灰度共生矩是一種廣泛應用的使用統計特徵來描述紋理的方法。灰度共生矩陣就是從影象
GLCM共有14種紋理特徵,文獻[72-74]研究了GLCM統計量的相關性並提出了更有效的紋理特徵量,但是文獻[75]認為僅有4個特徵,即對比度、相關性、能量(和同質性是不相關的,所以,為減少計算量,提高特徵分類精度,常取這4個特徵作為GLCM特徵。GLCM在影象的紋理分析中佔有重要的地位,在特徵提取和缺陷檢測等方面有著廣泛的應用。
(3) 區域性二值模式(LBP)。區域性二值模式最早由Ojala提出,它引入了紋理基元的思想,是一個簡單但非常有效的紋理運算子。LBP將各個畫素與其附近的畫素進行比較,並把結果儲存為二進位制數,即它用二進位制位表達區域性鄰域點與中心點的關係,所有鄰域點的二進位制位用來描述區域性結構資訊的模式。
LBP對諸如光照變化等造成的影象灰度變化具有較強的魯棒性,所以區域性二值模式演算法已廣泛應用於表面缺陷檢測,同時,在指紋識別、光學字元識別、人臉識別及車牌識別等領域也有應用。由於LBP計算簡單,也可以用於實時檢測。
目前出現了一些改進的LBP演算法。Tan等人[76]提出了局部三值模式(LTP),即通過設定閾值將鄰域與中心相似的狀態作為中間狀態,從而將擴充套件區域性鄰域關係為三種狀態。在此基礎上,Nanni等人[77]將區域性關係擴充套件到四種狀態。也有學者將LBP由傳統的2維特徵改進到3維特徵主要用於視訊分析[78-80]。此外,有學者將LBP表達的區域性資訊與其他資訊或演算法結合構成聯合特徵量,如Tan等人[81]聯合LBP特徵和Gabor小波特徵進行人臉的識別,Huang等人[82]將LBP和SIFT演算法結合用於人臉的3維識別。賀永剛[83]提出了一種多結構的區域性二值模式,該演算法結合各向同性取樣和各向異性取樣對區域性二值模式進行擴充套件,利用影象金字塔提取紋理影象的微結構和巨集結構資訊。
(4) 自相關函式法。自相關函式法從影象的自相關函式提取紋理特徵,即通過對影象的能量譜函式的計算,提取紋理的粗細度及方向性等特徵引數。對於規則紋理影象,因其自相關函式具有波峰和波谷,故可用其進行表面檢測,但自相關函式法不適用於不規則紋理影象。
2) 訊號處理法。將影象當作2維分佈的訊號,從而可從訊號濾波器設計的角度對紋理進行分析。訊號處理方法也稱濾波方法,即用某種線性變換、濾波器(組)將紋理轉到變換域,然後應用相應的能量準則提取紋理特徵。基於訊號處理的方法主要有傅立葉變換、Gabor濾波器、小波變換、Laws紋理、LBP紋理等。
(1) 傅立葉變換方法。傅立葉變換是基於頻率的分析方法,20世紀70年代以來,有學者提出通過傅立葉濾波器來描述紋理。傅立葉變換將影象變換到頻率域上使用頻譜能量或頻譜熵等特徵來表達紋理。Rao和Lohse開展了基於人的感知的紋理研究,指出週期性、方向性以及隨機性是表徵紋理的3個重要因素[84]。紋理影象在空間分佈上具有一定的週期性,其功率譜具有離散性和規律性;對於方向性紋理,方向性會在傅立葉頻譜中很好的保持;對於隨機性紋理,頻譜的響應分佈並不限制到某些特定的方向。
根據相對於頻率中心位置距離的頻譜分佈情況,可以大致判斷紋理影象的相對粗糙程度。對於粗糙紋理,其紋理基元尺寸較大,影象的低頻訊號較多,功率譜的能量主要集中在離頻率中心位置較近的低頻區域;相反,對於基元尺寸較小的細緻紋理,影象含有的高頻資訊較多,功率譜的能量分佈較為分散,主要集中在距離頻率中心位置較遠的高頻區域。但是,傅立葉變換作為一種全域性性的變化,仍有一定的侷限性,如不具備區域性化分析能力、不能分析非平穩訊號等。
(2) Gabor濾波方法。儘管傅立葉變換在訊號頻域分析中有著重要作用,但它只能對整個時間段的訊號的頻率進行分析,沒有訊號的空間區域性資訊的刻畫能力,如當需要對區域性的影象紋理細節進行分析時,傅立葉變換無能為力。為克服傅立葉變換不能區域性化分析的缺點,短時視窗傅立葉變換(STFT)被提出,它通過在變換時增加一個窗函式來實現,當窗函式是Gaussian函式時,即得到Gabor變換。
Gabor濾波方法模擬了人類視覺感覺特性,具有很好的頻率選擇性和方位選擇性。使用Gabor濾波器提取紋理特徵的主要過程是:先設計濾波器,再從其輸出結果中提取特徵。濾波器設計包括單個濾波器引數的設計和濾波器組的佈局。濾波器的輸出結果可作為紋理特徵,但維數較高,為此,常採用斯平滑處理、Gabor能量特徵、復矩特徵、獨立成分分析等後處理方法以降低特徵集的資料量[85]。對於2維數字影象,研究者們提出了2維Gabor函式形成的2維Gabor濾波器。
自從Clark等人[86]首次將Gabor濾波方法用於紋理分析以來,很多研究人員開始用Gabor濾波器進行紋理特徵提取,進行表面缺陷的檢測[87-91]。國內叢家慧等人[92]利用Gabor濾波器具有頻率選擇和方向選擇的特性,有效提取了帶鋼表面缺陷的紋理特徵,為確定最佳濾波器引數,引入的評價函式使缺陷影象和無缺陷影象能量響應差別最大化。張學武等人[93]使用Gaussian金字塔分解和Gabor濾波器提取缺陷影象特徵,合成特徵顯著圖基於視覺仿生機理進行銅帶表面缺陷檢測,實現缺陷的正確分類。
因窗函式決定空域的區域性性,且Gaussian函式經傅立葉變換後仍為Gaussian函式,故Gabor變換在頻域上也是區域性的。Gabor濾波器在紋理描述方面有著良好的效果,但存在計算量大的問題[94]。
(3) 小波變換方法。傅立葉變換沒有區域性分析能力,STFT雖然在一定程度上改善了這種侷限性,但採用的的滑動窗函式一經選定就固定不變,故決定了其時頻解析度固定不變,不具備自適應能力,而小波分析很好的解決了這個問題。小波變換(WT)是法國地質物理學家Morlet於1984年提出的,通過伸縮和平移等運算功能對函式或訊號進行多尺度細化分析,達到高頻處時間細分,低頻處頻率細分,能自動適應時頻訊號分析的要求,從而可聚焦到訊號的任意細節。
影象紋理往往表現為多尺度特徵,對影象進行小波分解後,得到不同解析度的一系列影象;不同解析度的影象由代表不同方向資訊的一系列高頻子帶影象構成,高頻子帶影象反映了影象的紋理特徵。
傳統的金字塔小波變換僅對低頻部分進行了分解,而紋理影象的高頻部分可能也含有重要的特徵資訊,小波包分解或是樹結構小波分解則可克服這一缺點。小波變換方法提取影象特徵以進行表面缺陷檢測已有大量的應用[95-98]。
(4) Laws紋理。Laws模板的紋理描述方法通過使用簡單模板處理紋理影象,從而對紋理影象的特徵進行描述。它使用一組小的模板對紋理影象卷積,對卷積後的影象的每一個畫素的鄰域進行統計計算,將統計量作為對應畫素的紋理特徵。
3) 結構法。結構法是建立在紋理基元理論基礎上的,認為複雜的紋理是由一些在空間中重複出現的最小模式即紋理基元執照一定的規律排列組成。結構方法主要有兩個重要問題:一是紋理基元的確定;二是紋理基元排列規律的提取。最簡單的紋理基元是單個的畫素,也可以是影象的灰度均質區域,此外,Vilnrotter等人[99]採用邊緣重複陣列來提取基元,Hsu等人[100]利用自相關函式和小波變換系數提取基元,等等。確定基元后需要提取基元的特徵引數和紋理結構引數作為描述影象紋理的特徵。基元的特徵引數有面積、周長、離心率、矩量等,結構引數則由基元之間的排列規律確定;基元的排列規則是基元的中心座標及基元之間的空間拓撲關係,可從基元之間的模型幾何中得到,也可以通過基元之間的相位、距離等統計特徵中得到,較複雜的情況可以用句法分析、數學形態學等方法。
採用結構方法提取影象紋理特徵以進行表面缺陷檢測的研究並不少見,Wen等人[101]利用結構法提取影象的邊緣特徵進行了皮革表面缺陷檢測,Goswami等人[102]基於鐳射檢測和形態學對織物疵點進行了檢測,或採用數學形態學操作對鋼板表面缺陷進行了檢測[103]。但是,結構法只適合於紋理基元較大且排列規則的影象;對於一般的自然紋理,因其隨機性較強、結構變化大,難以用該方法來準確描述,此時一般要與其他方法聯合使用。
4) 模型法。模型法以影象的構造模型為基礎,採用模型引數的統計量作為紋理特徵,不同的紋理在某種假設下表現為模型引數取值的不同,如何採用優化引數估計的方法進行引數估計是模型法研究的主要內容。典型的模型法有馬爾可夫隨機場(MRF)模型、分形模型和自迴歸模型等。
(1) MRF模型。隨機場模型法試圖以概率模型來描述紋理的隨機過程,實質上是描述影象畫素對其鄰域畫素的統計依賴關係,常見的隨機場模型有Markov模型、Gibbs模型等。
MRF模型將紋理影象看用是一個隨機2維影象場,並且假設畫素的灰度級僅與鄰域內畫素的灰度級有關,使用區域性鄰域的條件分佈描述作為對應隨機場的區域性特徵。MRF模型的優點是能將區域性特性與全域性特性聯絡起來,且有較好的抗噪效能。但基於Markov隨機場模型僅通過區域性特徵很難得到全域性的聯合分佈,Cohen[104]將Markov與高斯分佈聯絡起來,提出了使用高斯—馬爾可夫模型(GMRF,在檢驗過程中,被視為假設檢驗的問題源自高斯—馬爾可夫模型。
(2) 分形模型。分形的概念是美籍數學家Mandelbrot首先提出的。很多自然影象(如海岸線)其特徵是極不規則、極不光滑的,但所有海岸線在形貌上卻是自相似的,即區域性形態和整體形態的相似。具有自相似性的形態廣泛存在於自然界中,Mandelbrot把這些部分與整體以某種方式相似的形體稱為分形。1975年,Mandelbrot創立了分形幾何學。在此基礎上,形成了研究分形性質及其應用的科學,稱為分形理論。
Pentland[105]首次用分形有來描述紋理,認為自然界中的分形與影象的灰度表示之間存在著一定的對應關係,指出分形維數是描述紋理的一個重要特徵。分形模型中如何確定分數維是描述紋理的重要問題,常用的演算法有Keller的盒維數、Sarkar等人提出的差分計盒法等。分形模型主要適用於具有自相似性的自然紋理。
徐科等人[106]將分形維數作為特徵量,利用Peleg毯覆蓋法計算影象在不同尺度下的分形維數,通過尺度—分形維數曲線圖估計最優尺度,用於對熱軋帶鋼表面缺陷的自動識別,取得了良好的效果。李慶中等人[107]基於分形特徵進行水果缺陷快速識別研究,通過該方法提取的紋理特徵不受光照強度變化的影響,且具有平移、旋轉和縮放不變性。
5) 紋理特徵提取演算法比較。上述紋理特徵提取方法各有其優缺點,總的看來,可以從以下幾個角度來估計其優勢和不足:計算的複雜度,是否利用了全域性資訊,是否具有多分辨特徵及是否與人類視覺感受一致。
統計法方法簡單、易於實現,特別是GLCM方法具有較強的適應性和魯棒性;但缺少影象的全域性資訊,紋理尺度間畫素的依賴關係難於發現,沒有聯絡人類的視覺模型。模型方法既考慮了紋理區域性的隨機性,又考慮了紋理整體的規律性,靈活性較大,而且也研究了紋理的多分辨性;但模型的引數估計有一定的難度,而且計算量較大。訊號方法能對紋理進行多分辨描述,能將空域和頻域相結合對紋理進行研究,也符合人類的視覺持徵;但正交小波變換對高頻部分沒有進一步分解,而小波包對非規則紋理影象的處理效果不佳,且計算量大。結構法只適合於紋理基元較大且排列規則的影象;對於一般的自然紋理,因其隨機性較強、結構變化大,難以用該方法來準確描述。上述方法各有利弊,研究人員正試圖將不同的方法結合對紋理特徵進行比較研究和融合提取。
相關推薦
機器視覺表面缺陷檢測綜述
紋理是表達影象的一種重要特徵,它不依賴於顏色或亮度而反映影象的同質現象,反映了表面結構組織排列的重要資訊以及它們與周圍環境的聯絡。與顏色特徵和灰度特徵不同,紋理特徵不是基於畫素點的特徵,它需要在包含多個畫素點的區域中進行統計計算,即區域性性;同時,區域性紋理資訊也存在不同程度的重複性,即全域性性。紋理特徵
表面缺陷檢測:機器視覺檢測技術
導讀:傳統的工業生產製造,由於科學技術的限制仍然主要採用人工檢測的方法去檢測產品表面的缺陷,這種方法由於人工的限制和技術的落後,不僅檢測產品的速度慢、效率低下,而且在檢測的過程中容易出錯,從而導致了檢測結果的不精確。 當今社會,隨著計算機技術,人工智慧等科學技術的出
鋰電池表面缺陷檢測視覺產品的引入
鋰電池極片缺陷形成原因: 鋰電池極片的生產過程中,會因為塗布機、輥壓機的原因產生露箔、暗斑、亮斑、掉料、褶皺等缺陷。塗布對於電池的效能有著很大的影響,極片塗布的一般工藝流程是:放卷一張力控制一自動糾偏一塗布一干燥一自動糾偏一張力控制一收卷。在塗布工藝中,塗料、輥壓環節都有可能導致極片缺陷
深度學習應用系列——計算機視覺:表面缺陷檢測(一)
Fully Convolutional Networks for Surface Defect Inspection in Industrial Environment 佔坑 一種思路:使用語義分割
金屬表面缺陷檢測
文章題目:《Automatic Metallic Surface Defect Detection and Recognition with Convolutional Neural Networks》 連結:https://pan.baidu.com/s/1W8r_gG3s2DIbAVgXV8
使用深度學習 進行缺陷檢測,GAN用於表面缺陷檢測
使用深度學習 進行缺陷檢測 連結: 千順智慧. 資料庫– GRIMA database http://dmery.ing.puc.cl/index.php/material/gdxray/ steel surface defects – Micro surface de
GAN用於表面缺陷檢測
1.前言 深度學習在計算機視覺主流領域已經應用的很成熟,但是在工業領域(某些領域應用也很成熟),比如產品表面缺陷檢測,總感覺沒有發揮深度學習的強大能力,近幾年表面缺陷的 相關研究主要是集中在各種借鑑主流神經網路框架,從CNN到YOLO,SSD,甚至到語義分割的FCN相關
瞭解基於視覺的缺陷檢測的原理與方法
一、KNN分類器 1.1.1最近鄰演算法 定義:計算未知樣本與所有訓練樣本的距離,並以最近鄰者的類別作為決策未知樣本類別的唯一依據。 缺陷:對噪聲資料過於敏感。 措施:將被決策樣本週邊的多個最近樣本計算在內,擴大參與決策的樣本量,以避免個別資料直接決定決策結果。 1.1.2K-最
VIDI軟體在粗糙金屬表面缺陷檢測中的應用
2017年1月12日在中國汽車協會舉辦的資訊釋出會上,中汽協祕書長助理代表協會對2017年中國汽車市場作出預測:“2017年我國的汽車產銷量預計為2940萬輛,增速預計保持在5%左右。”在當天釋出的產銷資料中,2016年汽車銷量達2803萬輛。 中國汽車銷售市場
Matlab對鋼板表面缺陷檢測:幾何校正、分割、填充紅色、計算面積
init=imread('D:\MyDocuments\picture analysis\lab three\41524617\1.jpg'); %讀入圖片 G=rgb2gray(init);%轉換成灰度圖 subplot(521) , imshow(init), ti
基於機器視覺的曼秀雷敦洗髮水瓶印刷缺陷檢測
基於機器視覺的曼秀雷敦洗髮水瓶印刷缺陷檢測 曼秀雷敦洗髮水瓶、沐浴露瓶、護膚品瓶等印刷缺陷檢測,這個屬於外觀缺陷檢測。在一些高階的產品上,是會經常見到的。不只是洗髮水瓶,其它的一些瓶瓶罐罐也會有這樣的檢測需要。 工業光源 對於這種產品,像上面兩個大瓶,是扁平狀的。可以考慮使用兩
基於機器視覺的IC表面字元檢測
基於機器視覺的IC表面字元檢測 IC表面字元識別,這個在半導體行業裡是經常遇到的視覺檢測應用專案。一般需要檢測其型號、批號等內容。絲印外觀可能會比較少檢測,要求沒有這麼高。 低角度環形光源 工業光源 對於這種IC上的字元,主要有兩種方式。一種是絲印的,另一種則是蝕刻的。對於
基於機器視覺的電容表面字元檢測
基於機器視覺的電容表面字元檢測 電容表面字元檢測,這個和IC表面字元檢測要求基本類似,主要也是判斷批號、料號、型號等內容。 電容表面字元-低角度環形光源-高亮 工業光源 專案字元同樣是使用蝕刻的陰文,可以考慮使用低角度的環形光源進行高亮特徵照明,如RL-9600-W這樣的光
基於機器視覺的細小金屬件表面汙漬檢測
基於機器視覺的細小金屬件表面汙漬檢測 如今的電子零件越來越細小,很多小零件可能都是零點幾毫米的大小,而裡面的某些尺寸,可能都是納米級別的。就如現在的CPU等製程都是10nm級別的了。所以這裡,對於這些細小零件的表面檢測,與一般的大產品檢測會有所不同。主要是視野不同,一般的裝備是滿足不了這種要
機器視覺技術在工業檢測中的應用綜述
機器視覺主要研究用計算機來模擬人的視覺功能,通過攝像機等得到影象,然後將它轉換成數字化影象訊號,再送入計算機,利用軟體從中獲取所需資訊,做出正確的計算和判斷,通過數字影象處理演算法和識別演算法,對客觀世界的三維景物和物體進行形態和運動識別,根據識別結果來控制現場的裝置動作。從
機器視覺在鋰電池檢測中的應用
鋰電池系列產品因顧客的需求不同,而致使產品的具體檢測指標精度不同,本產品適用模切機上安裝為檢測物件,規定了鋰電池極片帶系列產品的檢測指標精度。其他技術要求均適用於鋰電池極片外觀檢測系列的全系產品。 檢測缺陷型別及精度: 膠帶不良①極片料區粘有其它顏色的膠帶; 顆粒粘輥(2mm以上)①
基於機器視覺的安利紐崔萊瓶子外觀檢測
基於機器視覺的安利紐崔萊瓶子外觀檢測 外觀檢測,在很多產品中都有相應的機器視覺檢測要求。對於安利紐崔萊這樣的高階產品,做檢測也是必不可少的程式。 瓶蓋劃傷 工業光源 對於這種檢測,一般使用無影光源,如圓頂無影光源,DL-100-W。也可以嘗試使用環形光源,比較大的高角度的,
基於機器視覺的衝壓金屬瓶質量檢測
基於機器視覺的衝壓金屬瓶質量檢測 衝壓金屬瓶質量,這個在五金件的衝壓行業裡通常都有要求。衝壓出來的金屬瓶體不能有變形、破損、位置不正等情況出現。 衝壓良好的產品 工業光源 對於這種產品,因為可能出現的瓶體有很多型別,不同的大小、深淺等,因此可能同一款光源並不一定能適用多種產
基於機器視覺的滑塊檢測
基於機器視覺的滑塊檢測 滑塊Slider檢測,是在一些電磁產品上的一些小零件,主要檢測尺寸、間距、定位之類的。如下圖所示,是不同倍率下的滑塊成像效果: 工業光源 對於這種產品,相對比較小,所以可以使用多種型別的光源來打光,如條形光源,像BL-9019-W,環形光源R
基於機器視覺的電阻焊接質量檢測
基於機器視覺的電阻焊接質量檢測 電阻焊接質量檢測,如下圖所示,在兩個針腳之間會焊接一個電阻。對這個電阻的位置姿態需要進行判斷,同時電阻本身不能焊壞、焊裂、變色等。 OK產品 工業光源 上圖是使用環形光源RL-5060-W拍攝的效果圖。從影象中看到,其實對比度並不算是特別明顯