8 月 19 日訊息，近日，俄羅斯斯科爾科沃科學技術研究院和比利時魯汶大學的研究人員設計出一種神經網路方法，可修復材料 3D 微觀掃描影象。

在材料研究中，想要看清材料微觀結構，就需要對其進行掃描和成像，現有技術成像會出現影象存在瑕疵的問題，所以需要進行修復，研究人員設計的三種演算法均能快速修復影象，不過效能存在差異。

該研究論文題目為《基於深度學習的纖維材料的微計算機斷層掃描影象修復（Inpainting micro-CT images of fibrous materials using deep learning）》，已發表在 Computational Materials Science 上。

論文連結：

https://www.sciencedirect.com/science/article/abs/pii/S0927025621002780?via%3Dihub

一、Micro-CT 掃描影象，常出現偽跡陰影等問題

微計算機斷層掃描（Micro-CT）技術在研究人員研究纖維增強複合材料和其他複雜材料的 3D 微觀結構時，非常有用。

Micro-CT 是一種對物體掃描成像分析的技術，其解析度可達幾微米，方便對三維物理物件進行分析。但此技術存在侷限性，當樣本很小時，使用 Micro-CT 得到的影象經常有偽跡和陰影、缺失或損壞的區域。

為了解決此問題，研究人員從藝術領域汲取了靈感和專業知識。在藝術領域，損壞的畫作要求必須在修復的同時保持其整體完整性。因此，在數字影象處理中，影象修復/填充（inpainting）已經成為一種常用技術。

研究的第一作者、斯科爾科沃科學技術研究院和魯汶大學博士米爾・卡拉莫夫（Radmir Karamov）說：“人工智慧影象修復（AI inpainting）的主要優點是速度。有了訓練過的模型，我們可以每秒處理 100 張影象，如果讓人來做，需要的時間要長得多。”

他還談道：“計算機在處理 3D 影象方面也非常出色，因為它們從四面八方都能‘看到’影象，並且可以立即重造整體。”

隨著影象修復技術和深度學習技術的發展，特別是生成對抗網路（Generative Adversarial Network，GAN）的發展，有效地重建影象缺少或損壞部分，或建立一個新的（部分）影象成為可能。

但研究人員發現已有研究中缺乏關於處理 3DMicro-CT 影象的技術。

二、研究人員根據質量和效能要求設計出三種架構 GAN

研究人員使用 3D 編碼器-解碼器 GAN，來研究可用於 3DMicro-CT 影象修復的工具。

他們解釋，複合材料中包含的增強體（如纖維），在三維空間中隨機定向，這就是為什麼人們必須使用 3D 影象來表示這種複雜的內部微觀結構。

由於更傳統的卷積神經網路無法提供這項任務所需的精度，所以該團隊改選了 GAN（生成式對抗網路）。

卡拉莫夫談道：“在 GAN 中，研究人員不是通過訓練單個神經網路來重建影象，而是訓練兩個相互競爭的網路。生成網路（generator network）試圖生成看上去像真的的假圖片，判別網路（discriminator network）檢查圖片並試圖確定它們是真還是假的。”

他補充說：“正如 GAN 的發明人伊恩・古德費羅（Ian Goodfellow）所說，你可以認為這是造假者和警察之間的比賽，造假者想要製造看起來真實的假鈔，而警察想檢視任一特定的鈔票，並判斷是否是假鈔。”

研究人員考慮演算法對圖片的修復質量，以及執行會佔用的 GPU 記憶體情況，設計了具有三個（CNN3）、五個（CNN5）和七個（CNN7）卷積層的三種不同的 GAN 架構，來修補丟失的資料。

這三個 GAN 中的判別網路結構相同，但生成網路的可訓練引數深度和數量不同。

三、訓練後的 GAN 演算法修復影象耗時不超一秒

研究人員利用壓縮成型的短玻璃纖維增強熱塑性複合材料的影象對所開發的演算法進行測試。影象資料集（連續生成的）是基於解析度為 4.4μm 的 300×300×900 pixel3 的 Micro-CT 影象開發的。

神經網路分別針對 CNN7、CNN5、CNN3 模型訓練了 24 小時或進行了 234000、306000、428000 次迭代。在每個案例的訓練過程中，MSE 誤差不斷減小，直到訓練停止。訓練後的演算法模型完成影象修復耗時不超 1 秒。

具有超過 6000 萬個可訓練引數的最深神經網路（CNN7）修復完成的材料結構圖片，其材料各向異性（anisotropy）程度的平均誤差約為 0.4%，方向張量（orientation tensor）的平均誤差約為 2%。

CNN5 和 CNN3 表現出較低的影象修復精度和較高的物理指標誤差，兩種演算法誤差比 CNN7 高 2 倍。它們可以在資料集所熟悉的影象中預測正確的纖維特徵。

研究人員還比較了 GPU 記憶體的消耗，CNN7 的高效能與其高 GPU 記憶體佔用形成對比，記憶體消耗高達 CNN3 的 17 倍。

CNN3 或 CNN5 等深度學習架構更適合對結構更一致的 Micro-CT 影象進行精確修復，而 CNN7 更適合隨機結構的材料。

卡拉莫夫說：“通過修復演算法，我們可以消除 Micro-CT 掃描影象中的所有缺陷，更精確地模擬材料特性，並分析如果在製造過程中去除所有內部孔隙和空隙，材料效能將如何提高。”

他補充道，修復演算法只是新材料自動生成演算法的第一步，這可以使科學家能夠根據特定應用所需的特性設計材料。

結語：機器學習加速新材料出現

在材料研究中的材料資料收集、材料資料處理、材料資料分析等各個環節，都有了機器學習、人工智慧等技術的身影出現。

新材料的開發與機器學習等技術聯絡越發緊密，無論是新材料的開發還是新材料的尋找，這些技術都能幫助人類更快實現預期目標。