【看論文】之《基於機器視覺的番茄收割機實時分揀系統研究_袁紫薇》
論文資訊
題目：基於機器視覺的番茄收割機實時分揀系統研究
作者：袁紫薇
作者單位：長安大學
論文性質：碩士學位論文
提交日期：2017.4.28
摘要
本文立足於農業機械的發展，研製出一種番茄聯合收割機用成熟番茄識別和分揀的方法；
研究內容：
（1）針對從成熟番茄中剔除未成熟番茄和雜質的功能需求，提出基於機器視覺的果實分揀方法；
（2）針對番茄分揀的特點，突破提取一種顏色分量獲得灰度影象的侷限，提取同一色彩影象的H，S兩種分量，獲得兩種不同的灰度影象（★筆記： YIQ 彩色模型是否可以採用類似的方法處理，可以當作創新點來研究）；分別對兩種灰度影象進行二值化處理，然後通過邏輯運算，將兩幅灰度影象合成一張灰度影象，實驗結果表明，該方法可以區別成熟與未成熟的番茄；
（3）改進了番茄的鋪排方式，確定分揀方案；
（4）構建了影象採集系統；
（5）以Labview為平臺，設計了番茄分揀的識別系統；
分揀試驗：
在拍攝的100張樣片中進行實驗，誤差率為2%；
1 緒論
機器視覺在番茄分級中的研究現狀
江蘇大學的趙傑文、劉本華等提出用成熟番茄與未成熟番茄、枝葉之間的顏色差異從影象中區分出成熟番茄。對番茄影象進行閾值分割，區分出成熟番茄。對影象中的成熟番茄區域進行去噪，填補空洞、提取邊界和求取質心，獲得成熟番茄的資訊。
南京農業大學的王新忠等，應用YIQ顏色模型識別番茄影象。YIQ色彩格式計算簡單，聚類性好。根據成熟番茄和綠色枝葉之間的I、Q值的差別，對YIQ兩個分量設定上下兩個閾值，可以將成熟的番茄從背景中分出來。（筆記：在這裡是不是可以考慮從自適應閾值的方法上入手一下，值得深究）
瀋陽農業大學的呂小蓮等，應用I1I2I3顏色模型，對100幅自然條件下的番茄影象中的成熟番茄、未成熟番茄，枝葉的顏色特徵值等進行統計，發現兩者的I2值差很大，且受光照的影響小。因此可以選用I1I2I3模型中I2作為影象分割中的顏色指標，並利用Ostu法將成熟的番茄從背景中分離出來；
江蘇大學的王玉飛等，利用 RGB 顏色模型和形狀特徵識別成熟番茄。先用 R，G兩個分量的色差值灰度影象和 Ostu 法得到初級影象，然後應用 3 個形狀引數（圓形的，凹度，矩形度）和 5 個紋理引數（熵，對比度，相關性，能量，均勻性）將成熟番茄從枝葉等干擾物中分離出來；
北京農業智慧裝備研究中心的馮青春，程偉等，進行了基於線結構光視覺的番茄重疊果實識別定位方法研究。主要用於解決番茄自動化採摘過程中植株上的番茄相互遮擋的問題；
Pavithra, V.等（基於機器視覺的番茄自動分選），提出一種根據番茄的成熟度和質量對番茄進行自動無損色選的方法。分級過程分為兩個階段：第一階段根據番茄的成熟度分級，第二階段根據番茄的質量進行分級。
W. Syahrir 等用機器視覺系統代替人工判斷番茄的成熟度並評估番茄的保質期。先將 RGB 模型轉變成 L*a*b 模型，然後進行濾波、閾值處理等將番茄從背景中分離出來，最後通過 R－G 色差值判斷番茄的成熟度和番茄的保質期；
Omid Omid ARJENAKI 等，研究了一種基於機器視覺的有效的番茄分級系統。該系統以計算得到的偏心率、畫素數量、顏色分別作為番茄形狀，大小，成熟度的評價標準，對番茄進行分級。同時該系統還能檢測出著色不良，生長裂紋，早疫病等缺陷；
Laykin S 等，優化了一種影象處理演算法，通過對影象進行分析得出番茄的顏色，顏色均勻性，缺陷，形狀等質量引數，對番茄進行分級；
機器視覺在番茄採摘中的研究現狀
石河子大學與武漢威明德科技股份有限公司等單位聯合研製出了中國首臺全液壓自走式番茄收穫機，其中包括割秧收秧裝置、果秧分離裝置、色選裝置、電液控制系統4部分。該收割裝置的各項質量指標可達到世界同類產品標準，實現了國產行走式番茄收穫機零的突破；
（這篇論文的緒論寫的非常好，引用的參考文獻比較有代表性，可以看看）
研究內容：
番茄收割機中的番茄為物件，研究番茄收割機實時分揀系統，主要內容如下：
（1）番茄收割機的功能分析，確定番茄實時分揀方法和方案
（2）基於機器視覺的番茄動態識別影象採集系統的設計 ：1）影象採集系統硬體方案的確定； 2）影象採集系統結構的設計； 3）影象採集系統軟體系的設計；
（3）基於機器視覺的動態番茄分類識別方法的研究：實現成熟番茄、青番茄和雜質（泥土）的分選
2 番茄收割機實時分揀系統的方案設計
番茄的識別方法：
要將未成熟番茄和雜質與成熟番茄區分開來，就要找出它們各自的特徵，利用特徵之間的差異區分影象中的物體；
成熟番茄與未成熟番茄，它們之間的外觀差異主要在於顏色，成熟番茄外表面呈紅色，未成熟番茄的外表面呈綠色，在影象處理過程中，可利用提取顏色分量的方法區分二者；（筆記：）
成熟番茄與土塊，它們之間的主要差異在於外輪廓，成熟番茄在影象中呈類圓形，土塊在影象中的外輪廓是不規則的稜角，在影象處理過程中，可提取物體的邊緣，通過判斷邊緣的形狀區分二者；
分揀結構。。。。
3 基於LabView的番茄分揀影象採集系統設計
相機的選擇
選擇工業相機首先應該確定用 CCD 相機還是用 CMOS 相機。CCD 相機和 CMOS 相機的區別在於資料的傳輸過程
CCD 相機是以行為單位，每行的感光元件將光訊號轉換成電訊號，將電訊號送進每行對應的移位暫存器器，每行移位暫存器連線一個放大器，經訊號放大、數模轉換後形成數字影象；
而 CMOS 相機是每個感光元件都有一個放大器，直接將電壓訊號進行放大，然後進行數模轉換生成影象；從傳輸速度上來說 COMS 相機的非常快，適用於高幀拍攝；
COMS 感測器的固有噪聲比CCD感測器高10倍，這些噪聲甚至會在影象上成像，影響影象質量。另外，CMOS 中的放大器是類比電路，很難保證所有訊號放大的一致性。所以，一般選用CCD 相機；
4 基於機器視覺的番茄分揀演算法
上接：2018.11.17，18:15
影象處理包含兩個部分，影象的預處理和特徵提取；
影象的預處理：彩色影象的灰度化、影象濾波、影象二值化、形態學處理等；
特徵提取：根據影象的顏色、形狀、位置等特徵資訊將目標從背景中分離出來，達到識別目標的目的；具體包括：邊緣提取、資訊提取等；
常用顏色模型：
目前，常用的顏色模型有RGB模型、CMYK模型、HIS模型以及L*a*b模型。每一種模型都用有限個量來描述顏色，每一種量都可以由RGB用一定的數學變換得到。
RGB模型：
RGB顏色模型是將顏色用笛卡爾座標系的單位正方形表示。如圖，三個座標分別表示R、G、B三個顏色。原點（0,0,0）表示黑色，在對角線，離原點最遠的頂點（1,1,1）表示白色。
HSI模型：
HSI模型是從人的視覺系統觸發來描述顏色，如上圖。
人感知顏色是從下面三個方面：色調（Hue）、飽和度（Saturation）、亮度（Intensity）。
其中，色調（Hue）是指顏色的種類：紅、粉紅、橙紅等。雖然都是與紅色相近，從色調的角度來說他們都具有不同的色調。
飽和度（Saturation）是指顏色的深淺，如深紅、淺紅。飽和度與色光中含有多少的白光成分有關，含有的白光成分為0，則飽和度為100%，只含有白光的飽和度為0，因此飽和度在某種程度上表示了某種色光被白光沖淡的程度；
亮度（Intensity）是指人眼感受到光的明暗程度，與物體反射光的多少有關，反射光越強、越亮。
HIS模型與RGB互換的關係式：
彩色影象灰度化
通常，彩色影象灰度化處理中，確定灰度值的方法有如下幾種：
（1）最大值法：
（2）平均值法：
（3）加權平均值法：
（4）直接分量法：直接將顏色模型中的某個分量的值作為畫素的灰度值。例如可以
這樣，如果彩色影象中的某一R分量值比較大，那麼變化成灰度影象後，該畫素的顯示就比較亮；如果某一個畫素中R的量值比較小，變成灰度影象後，該畫素就顯示比較暗；
本論文的任務是將未成熟的番茄從成熟的番茄中識別出來，兩者最大的區別就是顏色。紅綠番茄在影象中表現為畫素點所含顏色分量（R和G）的比例有很多的差別，可以利用這種差別進行灰度變化；HIS模型中，I分量是與彩色分量無關的資訊，HS分量則與人感受顏色的方式是緊密相關的。這種顏色模型，課以將色彩資訊和亮度資訊分離開來。利用這種顏色模型，可以消除戶外作業是受光照的影響。
下面是對自然光照下拍攝的番茄影象，用直接取分量得到的灰度圖。
可以看出，R、B、I、S分量得到的灰度圖影象中成熟番茄和未成熟番茄的差異不是很明顯。因此，可以暫定通過提取G、H分量獲得灰度圖。（筆記：作者做出的圖中，H分量貌似也不是很明顯，反而I分量卻很明顯；再者，作者給出的R分量的圖，總感覺有點差異，下一步，自己應該實現一下）
影象增強
影象增強就是通過一定的演算法處理設法改善影象的質量，增強影象中感興趣的區域，衰弱影象中不需要的區域的噪聲，提高影象的可讀性，便於進一步進行分析和處理。
影象增強可分為空間域增強和頻率域增強。空間域增強是直接對影象的畫素為處理物件；頻率域增強也即頻率域濾波，在頻域下對影象進行處理。
本文先對上圖中的H分量灰度圖進行了“BCGLookUP”空間域影象增強，通過改變影象的亮度、對比度、以及伽馬值提高影象的質量；
接著用頻率域濾波平滑影象。效果如下：
灰度影象二值化
圖形二值化的重點是選取合適的閾值。在自動檢測系統中，閾值的確定必須是自動的，不應涉及人工參與。
本文選取常用的最大類間方差法確定影象的閾值。
最大類間方差法：根據影象的灰度等級分佈特徵，即通過影象的灰度直方圖中顯示的特徵，將影象分割成兩個部分，使部分之間的差異最大，每部分內部的差異最小，實現影象影象分割；
形態學操作
形態學研究影象的基本思想：用結構元素去掃描輸入影象，看是否能將這個元素包含在輸入影象內部，同時驗證填放元素的方法是否有效；通過對影象內適合放結構元素的位置做標記，便可以得到影象結構的信心，這些資訊與結構元素的尺寸和形狀密切相關；
而知影象的形態學運算有
（1）腐蝕；（2）膨脹；（3）開運算；（4）閉運算
目標識別與提取
本文分揀系統的目的：將未成熟的番茄和雜質（如土塊）從成熟的番茄中區分出來；
所以，實現目標識別與提取就是目標的輪廓特徵為研究物件，以上文影象處理的二值影象為基礎，先用邊緣檢測的方法提取目標物體的邊緣，去除冗餘的資訊，只留下番茄的邊緣資訊；通過邊緣資訊，提取出目標物體的之心，結合硬體資訊實現對番茄的定位，實現分揀；
邊緣檢測：用腐蝕的方法提取邊緣
影象資訊的提取
資訊提取的任務就是用合適的演算法求番茄的質心。
（1）最基本的就是根據質心的定義，用矩方法計算質心座標；
為簡化計算，提出利用影象的主要特徵-邊緣求質心的方法。
（2）Hough變換：
霍夫變換是將影象座標轉換到引數空間，實現直線或者曲線的擬合，即使缺少少量的座標資訊，也不影響擬合結果；
缺點：通過實驗可知，應用霍夫變換的方法處理速度非常慢；
（3）本文的方法：（筆記L：沒看懂，之後在深究）
1）掃描整幅影象，將邊界畫素的行向量、列向量分別存入兩個一維陣列中；
2）分別提取兩個一維陣列的最大值和最小值的平均數。，
5 基於機器視覺的番茄分揀系統功能試驗
總結與展望
總結：
提出一種番茄聯合收割機上用的，成熟番茄識別和分揀方法。如下：
（1）從機械結構方面改變番茄的鋪排方式，優化番茄進入機器視覺系統的方式，以便簡化視覺識別過程。
（2）優化影象處理過程，提出一種新的、簡單的、準確度高的區分成熟番茄和未成熟番茄的方法。
突破提取一種顏色分量獲取灰度影象的侷限，提取同一彩色影象的兩種顏色分量，然後通過邏輯運算，將兩幅灰度影象合成一張灰度影象。
這種方法綜合應用了兩種分量影象的特點，使得區分效果更加明顯；
（3）簡化影象處理的演算法，
（4）設計開發了基於LabView的番茄自動識別軟體系統。
展望：
（1）進一步優化番茄實時分揀系統中的番茄分揀執行裝置，使分揀系統的精準度得到提高；
（2）完善番茄影象邊緣提取和資訊提取的方法。
本文提出的邊緣提取和質心的演算法，具有較大的侷限性。這種方法只能提取一個目標區域的資訊，如果影象中有兩個目標，則方法不能應用；
finished，2018.11.19，by songpl
★宣告：本篇文章是本人在學習期間的筆記，如有侵權，請聯絡刪除