摘要：

     我們建議採用影象超解析度來加速掃描電子顯微鏡（SEM）的採集速度。 該過程可以通過以較低解析度收集影象，然後使用影象超解析度演算法對收集的影象進行放大來完成。 然而，由於物理因素的影響，不同解析度的SEM影象不僅在尺度上發生變化，而且在噪聲水平和物理畸變方面也發生了變化。因此，很難獲得訓練資料集。 為了解決這個問題，我們設計了一個生成對抗網路（GAN）來擬合SEM影象的噪聲，然後從高解析度SEM資料生成逼真的訓練樣本。 最後，完全卷積網路被設計為同時執行影象超解析度和影象去噪。 這條管道在我們的SEM影象資料集上執行良好。

1.引言

     最近需要[1,2,24]重建動物 - 腦 - 組織的神經連線需要有效的方法來收集組織切片的大量顯微影象。收集顯微影象的有效方法[3]首先將生物樣本切割成數千個超薄切片，厚度約為30nm到70nm，然後將這些切片放在幾個矽晶片上，並使用幾個SEM平行拍攝這些切片的影象。我們的實驗室也以這種方式收集顯微影象。這種方法確實加速了資料收集過程，但速度仍然沒有我們預期的那麼快。例如，在超薄切片的典型高解析度影象中，每個畫素對應於2nm的物理尺寸，並且收集每個畫素需要2μs。因此，尺寸為1mm 2的單個組織切片需要2.5×10 11個畫素來表示，其將花費單個SEM至少138.8h來收集。這意味著拍攝一萬個超薄片的影象需要一個SEM連續工作至少6.6年！使用6個並行工作的SEM仍需要一年多的時間。毫無疑問，進一步加速收集過程具有重要意義，並且由於昂貴的成本而受阻，僅通過增加顯微鏡的數量來提高收集速度是不可行的。這項工作探索了通過使用影象超解析度和影象去噪技術同時加速每個顯微鏡收集的方法。

     單影象超解析度（SISR）嘗試提高影象解析度，並儘可能恢復詳細資訊。 影象超解析度的基本假設是高解析度影象包含許多冗餘資訊，因此可以從低解析度影象中恢復。 根據[4]，SISR的線性退化模型由下式表示：                                                z = D s Hx（1） 其中z是輸入的低解析度（LR）影象，x是未知的高解析度（HR）影象，線性運算H使影象模糊，並且操作D s 通過因子s減小影象比例。 最近的許多工作試圖學習從低解析度影象到具有額外資料集的高解析度影象的對映，以及通常使用深度神經網路引數化的最先進的對映函式。

     可以使用影象超解析度和影象去噪技術來加速SEM影象的採集過程。 生物組織影象的自動分析要求影象包含足夠的畫素用於每個細胞器，然而，如前所述，高解析度SEM影象的收集過程實際上是耗時的。 在實踐中，加速收集過程的有效方法是以相對較低的解析度拍攝影象，然後通過影象超解析度演算法提高影象解析度。 降低一半的成像解析度可以加速四倍的成像速度。 為了平衡收集速度和最終影象質量之間的衝突，這項工作僅考慮以2倍的比例升級收集的影象。

      我們的應用程式中最困難的問題是獲取訓練資料集。傳統的影象超解析度問題不考慮隨機噪聲的干擾，而SEM影象通常是眾所周知的噪聲，這意味著我們不能只使用預訓練的影象 - 超解析度模型來完成我們的工作。此外，傳統的SISR演算法通常對HR影象進行下采樣以建立訓練樣本，但是使用差異引數收集的SEM影象將具有不同的噪聲水平，這意味著我們不能以類似的方式建立訓練資料集。可能的解決方案是在具有不同解析度的相同位置拍攝影象以建立訓練樣本。然而，如在實驗中觀察到的，電子束將在收集過程中加熱組織切片，並且導致生物樣品的一些物理變形。結果，即使在相同引數的相同位置收集，兩個影象在畫素級別上也會有很大差異。這種變化不會影響生物學意義，但卻真正阻礙了影象 - 超解析度模型的訓練。

    考慮到SEM影象超解析度問題，噪聲通常來自不規則散射電子，因此可以認為噪聲正在“新增”到真實影象中。然後我們可以將退化模型表示為： z = D s H（x + N）（2） 其中z是收集的低解析度（LR）影象; x是未知的高解析度（HR）影象，我們想要從收集的LR影象z中恢復。線性運算H和運算D將劣化過程表示為等式（1）。 N是增加的噪聲。這個表述可以進一步寫成： z = D s Hx + G（3）      其中G = D s HN。按照這個公式，我們可以為下采樣的HR影象新增一些噪聲，以建立我們的訓練影象對。該方法可以很容易地應用於橋接嘈雜影象和乾淨影象之間的間隙，同時，低解析度影象和高解析度影象之間的失真不再是問題。在這項工作中，我們訓練了生成對抗網路[6]以適應低解析度SEM影象的噪聲，然後使用生成器將學習的噪聲新增到下采樣的高解析度影象塊。這種方法可以幫助我們構建合適的我們的訓練和驗證資料集。

    總的來說，這項工作的貢獻主要有三個方面：           1.已經提出了一種加速大規模生物組織成像的SEM影象採集的管道。           2. GAN旨在為SEM影象的超解析度和去噪問題生成高質量的訓練樣本。           3.我們訓練了一個端到端的完全卷積網路來解決SEM影象超解析度問題。

2相關工作

2.1基於例項的影象超解析度

       基於例項的影象超解析度方法學習從LR影象塊到HR影象塊的對映。傳統上，如[9]中所總結的，基於例項的SISR方法採用手工設計的特徵，手工設計的高檔，手工設計的非線性對映，以從輸入LR影象重建HR影象。 SRCNN [10]將特徵提取，非線性對映和重建過程合併為單個模型，訓練一個簡單的三層完全卷積網路，同時執行特徵提取器，非線性對映函式和HR影象重建器。在他們的工作中，他們需要首先將LR影象升級到所需的比例，然後使用三層模型恢復詳細資訊。後來的工作，如VDSR [11]構建了一個更深層次的卷積網路，以學習更好的對映。最近的工作嘗試將高階過程合併到超解析度模型中，並訓練端到端模型以解決SISR問題。 EEDS [9]採用轉置卷積層來增加影象尺度，而ESPCN [12]使用自行設計的子畫素卷積層來填補不同尺度之間的間隙。在進一步的發展中，SRGAN [13]用生成對抗網路解決SISR問題，使用鑑別器推動發生器學習自然影象流形，這可以產生更生動的HR影象。

2.2影象去噪

       影象去噪是一種低階影象處理問題，在許多計算機視覺應用中起著重要作用。 BM3D [14]利用3D分組進行非區域性影象建模，然後通過3D陣列的變換域收縮排行協同過濾。 後來，Burger等人。 [5]採用簡單的多層感知器來學習從噪聲影象到無噪聲影象的對映。 最近，Chang等人。 [15]發現當資料足夠時，單個網路可以分別執行影象去噪，影象超解析度和許多其他任務等多工，這表明資料驅動方法可以很好地解決許多影象恢復問題。

2.3生成式對抗網路

      生成性對抗網路（GAN）[6]是一種訓練生成模型的技術，可以通過雙人對抗遊戲來近似影象分佈，並且已被證明可以生成高質量的影象[7,16-18]。 在該框架中，生成器（G）嘗試生成逼真的影象以欺騙鑑別器（D），而D學習區分真實影象和生成的影象。 實際上，這個框架中的D扮演著損失函式的角色，並告訴G如何生成更逼真的圖片。 GAN的培訓過程可以表述如下：

其中p data（x）是自然影象的分佈，z是一些隨機噪聲。 通常，生成器將固定尺寸隨機噪聲作為輸入，然後投影到逼真的影象。

      GAN最重要的特性之一是這種深度生成模型不需要明確的公式。 因此，可以使用GAN來估計SEM影象的噪聲分佈，然後為我們的模型再現逼真的訓練樣本。

3 樣品模擬和SEM影象超解析度

3.1使用GAN建立高質量的培訓樣本

        我們設計了生成對抗網路（GAN）來估計SEM影象的噪聲分佈，然後使用生成器將學習的噪聲新增到下采樣的HR影象塊並生成LR補丁。 我們在後面的討論中將此模型稱為Noise-GAN。 可以將隨機噪聲新增到下采樣的HR影象塊以產生偽LR影象塊，但是難以精確地估計噪聲的分佈。 因此，這項工作探索適應GAN的噪聲分佈。

      在實踐中，我們的工作首先對HR影象補丁進行下采樣，然後將這些補丁提供給生成器以新增生成的噪聲，這使得這些補丁看起來很真實。在訓練過程中，鑑別器試圖區分真正的LR補丁和偽LR補丁，而生成器試圖欺騙鑑別器。在30個epoch的訓練之後，發生器足以產生逼真的LR補丁，甚至人類也無法區分真正的LR補丁和偽LR補丁之間的區別。       Noise-GAN的結構遵循DCGAN [7]和W-GAN [8]的原理。該生成器將128-d隨機噪聲投影到64×64的噪聲圖，這是附加的輸入影象補丁，最終生成偽LR補丁。生成的偽LR補丁和真正收集的LR補丁然後用於訓練鑑別器。需要注意的一點是，在每個訓練批次中，偽LR影象補丁和真正的LR影象補丁都收集在同一個地方，因此它們具有相同的語義資訊。此外，這些貼片需要在饋入鑑別器之前減去它們的平均值，以避免亮度干擾。使用這些方法，假補丁和真實補丁之間的唯一區別是噪聲級別，並且將阻止鑑別器將這些補丁與其他資訊分類。這個過程將確保GAN學會只適應噪聲。在生成器中使用tanh啟用而不是relu啟用，並且我們使用學習率為0.00001的RMSProp優化器來訓練該模型。網路如圖1所示。

圖.1 Noise-GAN結構：（a）發生器，它將生成的噪聲新增到HR影象補丁; （b）鑑別者，正在訓練以區分真正的LR影象補丁和生成的LR補丁。

3.2端到端SEM影象超解析度

        我們設計了一個深度網路來驗證最終結果。 該網路可能無法像其他最先進的影象超解析度方法一樣工作，但它易於構建，易於訓練，並且具有足夠的容量來學習從噪聲LR補丁到HR補丁的對映。 我們將此網路稱為SESR，這意味著SEM影象超解析度。 在91影象資料集上進行13000次互動訓練後，該網路可以很容易地在Set5上獲得36.038dB的平均PSNR。

       圖3（c）中描述的網路架構受初始模型[19-21]，ResNet [22]和EEDS [9]的啟發。該模型具有捕獲多尺度資訊的結構，並使用跳過連線將低階資訊傳輸到上層。如圖3（a）所示的塊1具有四個子分支，並且每個分支具有從1到7的不同接收域以捕獲不同比例的特徵。然後，這些提取的特徵由卷積層進行合併和處理。 Block2以類似的方式工作，大卷積核心被分解為小的非對稱卷積以提高計算效率。 Block1和Block2可以看作是組合模型，並且用差異比例提取的特徵被組合在一起以進行進一步預測。使用5×5轉置卷積層來增加影象比例。此外，如[21,22]中所討論的，此模型中使用的跳過連線也可以確保網路融合更快。該模型中的res-block與ResNet [22]相同。

       在訓練過程中，我們使用均方誤差作為目標函式，並使用Adam [23]優化器來訓練這個網路，學習率為0.0003.10千的互動足以訓練這個網路收斂。 網路結構如圖3所示。

圖3  SESR的結構。 （a）和（b）中的四個子分支用於捕獲不同比例的特徵，並且這些塊中的跳過連線用於在前向傳播中將低頻資訊傳遞到上層，並加速反向傳播中的訓練。

     與SRCNN和VDSR等兩階段方法相比，該模型可以提出端到端的影象，並與EEDS和ESPCN等其他單階段方法進行比較，該方法重量輕。 引數的儲存大小小於1MB。

4.實驗與結果

     在該實驗中使用樹組訓練資料訓練SESR模型以驗證所生成的訓練集的效果。 據我們所知，以前的工作沒有嘗試處理SEM影象超解析度問題，因此我們將結果與其他兩種可能的方法進行比較。

4.1.SEM影象資料集

        本工作中使用的SEM影象是從我們實驗室的Zeiss Super55電子顯微鏡收集的。 我們在相同的地方拍攝影象，畫素大小從1到8nm變化，相應的影象大小從8192×8192變為1024×1024。由於這些影象的大尺寸，每個尺寸的8張影象足以進行訓練，驗證 和測試。 在實驗中，我們裁剪3個影象用於訓練，1個影象用於驗證，4個影象用於測試。

4.2.訓練和測試

      SESR模型已經過三組訓練資料的訓練，以說明生成的訓練資料在我們的應用中的重要性。 第一組是前面提到的91個影象，我們將該資料集表示為“-NT”。 第二個資料集是真實收集的SEM資料集，我們將該資料集表示為“-SEM”。 將畫素尺寸為1nm的影象下采樣到對應的比例以充當基礎事實，然後對地面實況影象進行下采樣以生成LR影象塊作為輸入。 第三個資料集也是SEM資料集，但與第二個資料集的差異在於該資料集使用生成的LR影象補丁作為輸入。 我們使用“-GAN”來表示該資料集。

        我們使用真實收集的LR補丁作為輸入來測試這些模型。 重要的是要注意，由於收集過程中的失真和變形，輸出結果需要與基本事實一起進行定量測量。 為了避免由配准算法產生的差異，對於每個輸入影象，每個方法的輸出結果通過相同的變換登記到地面實況。 然後，峰值信噪比（PSNR）用於測量最終結果。

表1.測試集的平均結果。 由於在註冊後測量結果，最終PSNR比許多其他應用程式略低。

        我們將最終結果與其他兩種可能的方法進行比較。 一種是先用BM3D去除噪聲，然後用Bicubic演算法放大影象尺寸，另一種方法是先用Bicubic演算法放大影象，然後用BM3D去除噪聲。 因為我們不能精確地知道噪聲模式，所以我們估計BM3D演算法的σ= 25。 這兩種方法在我們的資料集中說明了不同的結果。 我們將這些結果的平均PSNR說明為表1。

          一組結果如圖4所示。 從圖4（f），（i）和（k），我們可以看到用自然影象訓練的方法受到噪聲的干擾。 從圖4（d）可以看出，使用BM3D去除雙三次後的噪聲破壞了一些詳細的結構。 從圖4（g）和（h）可以看出，首先用BM3D進行去噪可以很好地抑制噪聲，但最終結果卻模糊不清。 並且圖4（d）和（i）之間的類似外觀反過來說明生成的訓練資料集很重要。 總之，使用生成的訓練集訓練的SESR模型比其他方法表現更好，最終結果看起來比其他方法更相似。 由BM3D + Bicubic預測的影象雖然在測試集上具有高PSNR，但模糊了影象的詳細結構，這在實際應用中是不期望的。 雖然我們模型的結果看起來有點模糊，但這條管道確實說明了一種真正解決我們問題的有希望的方法。

5.結論

       這項工作提出了一個處理SEM影象超解析度問題的管道。 SEM影象超解析度演算法具有加快SEM收集速度的潛力，最終突破了獲得高容量生物組織影象序列的瓶頸。 然而，由於SEM影象中的噪聲不容忽視，SEM影象超解析度問題不能作為普通SISR問題的方法。 這個應用程式中最困難的部分是獲得合適的訓練資料來訓練我們的模型。 這項工作首先分析了SEM影象和普通影象之間的差異，然後設計了一個GAN，以適應SEM影象中的噪聲分佈。 之後，生成器可用於生成最終訓練過程的訓練樣本。 與其他可能的解決方案相比，這種訓練樣本生成方法表現更好，並且仍有很大的改進潛力。