飛槳PaddleSeg助力中國商飛航材自動化無損檢測
航空製造產業作為國家十三五規劃和“中國製造2025”的重點發展領域之一，已經成為國家戰略性產業，對於提升整體工業實力具有重大意義。而質檢保障著製造的安全，飛機制造生產領域已使用了AI技術進行智慧質檢，在細微之處保障著中國飛機的質量安全。
9月29日早上9點，AIIA2020人工智慧開發者大會百度公開課於北京首鋼園成功舉辦。其中，中國商用飛機有限責任公司主管研發工程師陳少敏發表了關於《飛機制造業複合材料質檢技術方案》的演講，該演講共分為航空複合材料檢測的背景、影象分割技術介紹和基於飛槳的航空複合材料檢測實踐三部分內容進行介紹。
（圖示：中國商用飛機有限責任公司
主管研發工程師陳少敏發表演講）
以下為演講實錄：
航空複合材料質檢
背景及問題描述
大家好，我是來自中國商飛的陳少敏，現任中國商飛主管研發工程師，主要從事於民用飛機領域人工智慧技術應用落地，今天我分享的是飛機制造業複合材料質檢技術與應用。
隨著國產大飛機型號研製的推進，中國商飛北研中心承擔的航空複合材料許用值試驗以及疲勞門檻值的試驗日趨加重，對試驗件無損檢測需求也逐漸增加。但是無損檢測的過程對檢測人員的專業知識有著很強的依賴性，同時人工缺陷評定過程速度慢，使其成為制約任務進度的瓶頸。
流程中存在的問題可以總結為四點：
單試驗件檢測時間長：20分鐘。
檢測數量大：單批次2000塊，每年約3批次。
資訊化程度低：容易造成人為疏忽。
裝置開放程度低：優化流程困難大。
在北研中心先進材料結構實驗室檢測人員對型號複合材料樣塊進行無損檢測時，通常單批次試驗樣件為2000塊以上，單個試驗件測試、評估並出具報告需20分鐘以上，人工缺陷評定工時數超過1000小時，而檢測人員資質要求高，書寫報告重複工作量大，使其成為瓶頸，亟需對流程進行資訊化、智慧化改進。
現狀評估
當前航空複合材料常用檢測工作的流程包括實驗接收、實驗測試、缺陷分析到出具報告等步驟。其中，缺陷分析和出具報告兩個步驟為評估階段，其他步驟為實驗階段。我們通過50次的實驗對流程耗時進行評測，試驗時間均值為4.3分鐘，評估時間均值為14.4分鐘，人工評估過程時間佔比達到77%，因此急需對評估時間進行縮短，提高檢測效率。
在捕獲到人工檢測效率比較低的問題之後，我們對工業質檢中的幾種方法也進行了比較。人工檢測存在成本高、效率低、檢測標準不統一的問題。而傳統機器視覺技術的辨別能力比較差，抗干擾能力弱，演算法無法複用。而深度學習技術的適應能力強，演算法精度高，模型可複用，意義可迭代，具有很強的產業升級的潛力，因此最終採用深度學習技術來進行流程的改進。
關於影象分割技術
說到影象分割，就得從計算機視覺的幾大任務說起，包括影象分類、目標檢測、影象分割和例項分割。影象分割的行業應用非常廣泛，包括無人駕駛場景、影視特效場景的人像分割、背景替換、證件照摳圖、醫療影像分析，腫瘤分割、肺炎結節分割等。
在航空領域，影象分割也具有很多應用場景，包括飛機自主起飛過程中，對於跑道中線的識別、航拍影象的分析、航空質檢過程中複合材料超聲影象缺陷檢測等。
基於深度學習的影象分割技術的難點：
現有資料量少，新標註資料難度大，成本高。
應用場景複雜，對演算法泛化能力要求高。
視訊記憶體和算力要求高，端側應用挑戰大。
實時性要求越來越高（如短視訊應用）。
基於飛槳的航空
複合材料質檢實踐
傳統的人工質檢方式，受質檢人員技術和經驗影響較大，而智慧工業質檢可以有效克服人工評片引起的誤判，使檢測工作更加自動化、客觀化、標準化、規範化。工業質檢所涵蓋的行業非常廣，包括3C電子產品的外觀質量檢測，鋼鐵行業中鋼板缺陷檢測，汽車發動機鑄造件的損傷檢測，航空製造業的飛機外觀蒙皮損傷檢測，無人機+計算機視覺技術輔助工人對飛機表面的劃痕、凹坑等損傷進行檢測、複合材料超聲影象缺陷檢測等。
實踐航空複合材料檢測應用AI技術難點：
資料數量少，應用場景複雜。
檢測要求高，需要按照適航級別的標準進行檢測。
傳統行業AI開發能力薄弱。
針對以上三個問題，我們找到了解決方案，就是使用百度飛槳PaddleSeg進行復合材料檢測演算法的開發，PaddleSeg可以通過資料增強、演算法選擇等技術很好地解決以上問題，有效的幫助傳統行業的技術人員進行AI演算法的開發。
根據PaddleSeg的全景圖可以看到，PaddleSeg是百度飛槳提供的一款影象分割開發套件，通過它可以實現影象分割任務從訓練到部署的全流程。該套件是基於飛槳核心框架開發的，具有資料增強、損失函式選擇、分割模型及骨幹網路的配置等功能，提供工業級的部署能力。我們選擇PaddleSeg最重要的原因是其易用性，通過全域性的配置就可以快速實現模型的選擇、資料增強，無需過多編寫程式碼，十分貼近我們開發的需求。
（圖示：飛槳影象分割套件PaddleSeg全景圖）
分割實際業務場景具有標註成本高，標註資料少，線上應用場景繁雜的問題。解決方案就是通過資料增強策略擴充訓練資料，提高模型的可靠性。
PaddleSeg支援強大的資料增強技術，可以涵蓋開發演算法需求。PaddleSeg還支援多種主流分割網路，結合不同特點的骨幹網路可以滿足不同精度和效能要求。
其實最初考慮了三種演算法的標註方法，第一種是使用矩形標註框的目標檢測演算法，第二種是旋轉矩形框的目標檢測，第三種是多邊形標註框的影象分割。這幾種標註的成本差別較大，需要根據檢測目標特徵、資料集大小來確定。我們最終採用了基於PaddleSeg的語義分割再加上後處理的方式，得到了所需的檢測結果，並且用PaddleSeg開發起來速度非常快。
接下來我們就按照PaddleSeg語義分割的思路來進行航空複合材料檢測的實踐，針對航空複合材料超聲影象資料的特徵，我們選擇了左右翻轉、上下翻轉、變換長寬比、旋轉、顏色空間擾動幾種資料增強策略對訓練資料進行擴充。
（圖示：航空複合材料檢測實踐——資料增強策略）
PaddleSeg配置示例非常簡單，十行左右程式碼就完成了資料增強的配置，對於演算法效果的提升也非常好，大概是IoU兩三個點的增益。
進入到網路訓練階段，我們使用了COCO資料集的預訓練模型，在複合材料檢測資料集上進行微調，PaddleSeg提供了多種模型結構和豐富的預訓練模型，像U-Net提供了COCO資料集上的預訓練模型，Deeplabv3提供了Mobilenet、ResNet等骨幹網路結構在Imagenet和COCO上的預訓練模型。我們測試了U-Net和Deeplabv3，兩者效果差別不大，但U-Net訓練及推理速度更快，最終我們選擇的是U-Net進行部署上線。這裡我們使用指令碼下載了U-Net預訓練模型，對我們構建的複合材料檢測資料集進行資料校驗。
在通過PaddleSeg進行模型訓練時，只需要編寫全域性配置檔案，我們設定了訓練集、驗證集、測試集的路徑，配置了翻轉、旋轉、顏色擾動的資料增強策略，設定了模型結構為U-Net，模型輸入為512 x 512，還對優化器、迭代次數等等訓練引數進行設定。配置完畢後即可呼叫訓練指令碼對模型進行訓練，開發過程非常簡單，門檻很低。
訓練完成後，我們對模型進行評估，在驗證集下進行測試，IoU超過95%。
（圖注：航空複合材料檢測實踐——演算法效果評估）
隨著影象分割演算法效果達到初步要求，我們緊接著進行了一系列的後處理步驟，首先對識別結果進行了輪廓提取，再根據面積大小篩選出符合要求的缺陷，最後通過PCA主成分分析對輪廓點集進行降維，獲取了缺陷的的低維表徵，主要是通過OpenCV的PCA求取相應的資訊。
當演算法完成後，我們即可使用指令碼對模型進行匯出，然後使用PyQt開發軟體介面，設計了多種影象讀取方式，整合了PaddleSeg的Python推理指令碼，完成影象分割功能部署，識別結果可以自動化儲存為表格檔案，輔助形成報告。至此，基於飛槳的航空複合材料檢測實踐就完成了。圖中為開發好的軟體工具，比較簡單，但是應用效果很好，可以有效地提高航空複合材料的檢測效率。
（圖注：中國商飛基於飛槳開發的軟體工具）
專案收益分析：
使用COMAC智慧無損檢測工具代替人工質檢過程，檢測全流程縮短為5.3分鐘。
複合材料超聲檢測工時減少71%，準確率提升至95%，流程完成智慧化改進。
單批次試驗人工成本減少21.63萬元，每年可減少成本64.89萬元。
基於PaddleSeg的開發時間、成本較低，有效實現了AI技術的產業落地。
課程回放連結：
https://aistudio.baidu.com/aistudio/education/group/info/1561
如在使用過程中有問題，可加入飛槳官方QQ群進行交流：1108045677。
如果您想詳細瞭解更多飛槳的相關內容，請參閱以下文件。
·飛槳官網地址·
https://www.paddlepaddle.org.cn/
·飛槳PaddleSeg專案地址·
GitHub:
https://github.com/PaddlePaddle/PaddleSeg
Gitee:
https://gitee.com/paddlepaddle/PaddleSeg
點選下方“閱讀原文”，進入AI快車道全國巡迴報名頁面
↓↓↓