手機屏缺陷檢測《Scale insensitive and focus driven mobile screen defect detection in industry》
簡單對文章的思路大概寫一下,主要的物件就是檢測手機屏表面的各種常見缺陷。主體就是network with merging and splitting strategies (MSDDN)+recurrent neural network (SCN),MSDDN是作者構建的一種網路,用於提取原影象各個塊的特徵向量,將每個塊的特徵向量輸入一個RNN網路判別影象是否有缺陷。因為文章簡單,所以分以下幾點說明一下。
1.文章的前兩部分總結為幾句話:手機表面質量對這個產品和行業影響很大,但是主要靠人工檢測的方法有很多的問題,所以急需一些機器視覺系統。目前的檢測方法主要是基於濾波器的邊緣檢測方法,比如sobel運算元,Roberts運算元,Canny等,也有一些學者感覺這些運算元對小的缺陷型別檢測的不好,提出使用影象重構的方法,比如:奇異值分解和傅立葉變換。然後一些研究者開始人為的去構建一些特徵模組,來進行區域性缺陷檢測,比較常用的是Haar-like features (include four types, namely, edge features, linear features, center-around features, and diagonal features)。在眾多特徵中為了挑選一些好的特徵,Adaboost 演算法開始使用進行篩選。
2.作者通過觀察,得知缺陷區域影象的尺寸大小對人類視覺系統影響很大(確實很大,不就是解析度的問題嘛),作者開始進行實驗,實驗步驟如下:
- 將不同缺陷的影象塊按一定係數放縮;
- 將放縮後的不同尺寸的影象輸入AlexNet網路,看各個網路層的feature map啟用情況。截圖如下。
從上圖可以看出,不同的放大尺寸觀察的效果確實不一樣。不知道作者是不是直接對影象進行放大的,具體的細節沒看,其實影象的放大可以採用的方法很多。
上圖可知,後三層的feature map啟用的情況較好。
所以作者就想從不同的尺寸對影象進行特徵抽取,這個思想怎麼感覺像Google inception網路的 單元模組,和SSD等檢測網路中的跳躍連結,將底層的特徵和高層特徵融合。不管了,作者給出了特徵提取網路的核心模組,下圖右邊。
最後作者將一個原始影象分成多個模組進行特徵提取,然後將提取的特徵輸入RNN網路進行判別,如下:
3.作者在實驗中,使用了簡單的資料擴充方法對樣本進行擴充。不過對於顯示屏檢測這個領域有些缺陷很明顯,有的缺陷真的是肉眼都難以分辨,通過微妙的色調變換,就構成了缺陷。看下圖。