CompNet：腦MRI提取的互補分割網路

腦提取是大多數腦成像研究的基本步驟。在本文中，我們研究了顱骨剝離的問題，並提出了互補分割網路（CompNets），以準確地從正常和病理腦影象的T1加權MRI掃描中提取大腦。所提出的網路是在編碼器 - 解碼器網路的框架中設計的，並且具有兩種途徑來學習來自腦組織及其位於大腦外部的互補部分的特徵。互補途徑提取非腦區域的特徵，並導致從具有病理的MRI腦提取的穩健解決方案，這在我們的訓練資料集中不存在。我們通過在OASIS資料集上評估它們來證明我們網路的有效性，從而在雙重交叉驗證設定下產生最先進的效能。此外，我們的網路的穩健性通過測試具有引入病理的影象並顯示其對看不見的腦病理的不變性來驗證。此外，我們的互補網路設計是通用的，可以擴充套件到更好的泛化，以解決其他影象分割問題。

1 Introduction

影象分割旨在從影象中定位和提取感興趣的物件，這是醫學研究中的基本問題之一。以腦提取問題為例。為了研究大腦，磁共振成像（MRI）是最受歡迎的模式選擇。然而，在腦MRI的定量分析之前，例如，測量正常的大腦發育和變性，發現諸如阿爾茨海默病的腦部疾病，或診斷腦腫瘤或病變，顱骨剝離通常是初步但必不可少的步驟，並且已經提出了許多方法解決這個問題。

在文獻中，為腦MRI提取開發的方法可以分為兩類：傳統方法（手動，基於強度或形狀模型，混合和基於PCA的方法[3,11]）和深度學習方法[7,10] 。與傳統方法相比，深度神經網路已經證明了預測的大腦面罩質量的提高。然而，這些深度網路專注於從訓練資料集中學習主要用於腦組織的影象特徵，訓練資料集通常是正常（或明顯正常）腦MRI的集合，因為這些影象比具有病理的腦掃描更常見。因此，他們的模型表現對看不見的病理組織敏感。

在本文中，我們提出了一種新的深度神經網路架構，用於從腦部MRI中進行顱骨剝離，這提高了現有腦提取方法的效能，更重要的是通過僅對公共可用的常規腦部掃描進行訓練而使腦病變不變。在我們的新設計中，網路學習腦組織和非腦結構的特徵，也就是說，我們考慮影象中感興趣區域之外的物件的補充資訊。例如，大腦外部的結構，例如頭骨，在正常和病理腦影象中高度相似和一致。利用關於大腦的這種補充資訊可以幫助提高大腦提取方法的穩健性，並使其能夠處理大腦中看不見的結構的影象。

我們探索了多個互補的分割網路（CompNets）。一般來說，這些網路有兩個共同的途徑：一個是學習什麼是腦組織併產生腦膜;另一個是學習大腦以外的東西，並幫助其他分支生成更好的大腦面具。有三種變體，即概率，普通和最佳CompNets。特別是，CompNet的概率需要一個額外的步驟來為諸如頭骨之類的互補部分生成基礎事實，而普通和最佳的CompNets不需要這個額外的輸入。最優的CompNet建立在普通的CompNet之上，並引入密集塊（一系列完全相互連線的卷積層[4]）和多箇中間輸出[1]，如圖1所示。這個最佳的CompNet有一個結束 - 在OASIS資料集的正常和病態影象上，三個CompNets中的最終設計，估計引數數量減少，效能最佳。此外，如果物件的互補部分有助於理解影象中的物件，則該網路是通用的並且可以應用於影象分割。

圖。1。
我們的互補分段網路的架構，最佳的CompNet。 在每個編碼器和解碼器中使用對應於灰色條的密集塊（DB）。 每個密集塊中的三（x，y，z）表示它具有x卷積層，核大小為3×3; 每個圖層都有y個濾鏡，除了最後一個有z濾鏡的濾鏡。 SO：腦掩模的分割輸出; CO：非腦掩模的互補分割輸出; RO：輸入影象的重建輸出。 由Sigmoid函式產生的這三個輸出是最終預測; 而所有其他Sigmoids產生中間輸出，除了為影象重建子網路生成輸入的綠色輸出。 最好看的顏色。

2 CompNets：互補分段網路

像U-Net [9]這樣的編碼器 - 解碼器網路經常用於影象分割。當前的分割網路主要關注於感興趣的物件，這可能導致難以推廣到看不見的影象資料。在本節中，我們將介紹我們的新型互補分段網路（CompNet的簡稱），它通過將感興趣物件的學習過程與影象中其互補部分的學習相結合來提高分段穩健性。

我們的最佳CompNet架構如圖1所示。該網路有三個元件。第一個元件是感興趣區域（ROI）的分段分支，例如大腦，它遵循U-Net架構並生成大腦掩模。在正常腦部掃描的情況下，僅具有該分支的網路側重於提取標準腦組織的特徵，導致難以用看不見的病理學處理腦部掃描。為了解決這個問題，我們通過新增一個互補的分支分支來學習非大腦區域的結構，因為它們在正常和病理影象中相對一致。然而，由於互補部分缺少真正的掩模，我們採用子編碼器 - 解碼器網路基於前兩個分支的輸出重建輸入腦部掃描。第三部分指導互補分支的學習過程，類似於無監督的W-Net [13]。它為分割和互補分支提供直接反饋，並期望從它們的合理預測作為輸入來重建原始輸入影象。互補分支間接影響分段分支，因為它們共享編碼器以提取特徵。

最佳CompNet包括密集塊和多箇中間輸出，這有助於減少估計引數的數量並使網路更易於優化。為了便於閱讀和理解，我們首先詳細討論普通版本。

簡單的CompNet。普通網路是圖1所示網路的簡化版本。與U-Net類似，分段和重建子網路的編碼器和解碼器塊（圖1中的灰色條帶）每個都有兩個卷積層。 ，核心大小為3×3。編碼器中卷積濾波器的數量從32開始，接著是64,128,256和512，而解碼器中的數字從256開始，接著是128,64和32.每個卷積層之後是批量歸一化[5]和輟學[12]。在編碼器中的每個灰色條之後，使用最大池對特徵圖進行2次下采樣;而對於解碼器，使用去卷積層將特徵圖上取樣2。在應用Sigmoid函式之後，該普通網路的每個分段分支僅具有來自解碼器的最後一層的一個最終輸出。分段分支的兩個輸出通過加法組合並作為輸入傳遞給重建子網。在該子網路中，來自解碼器的最後一層的輸出是重建影象。與U-Net一樣，我們在相同的解析度級別上連線了從編碼器到其解碼器的特徵對映，如圖1中的灰色箭頭所示。

我們在目標函式中使用Dice係數（Dice（A，B）= 2 |A∩B| /（| A | + | B |）[2]）來測量分割預測的良好性和均方誤差（ MSE）衡量重建的好處。 特別地，該網路的學習目標是最大化ROI（Y ^ S）的預測掩模與其基礎事實（YS）之間的Dice係數，最小化非ROI（Y）的預測掩模之間的Dice係數。 ^ C）和ROI真掩模，並最小化重建影象（X ^ R）和輸入影象（X）之間的MSE。 我們將一個樣本的損失函式表示為

這裡，重建損失確保互補輸出不是空影象，並且分割和互補輸出的總和不是完全白色影象，因為沒有全腦和頭骨結構圖的這種輸入將導致實質的重建誤差。

最佳CompNet。簡單的CompNet有近1800萬個引數。在卷積層之間引入密集連線可以顯著減少網路引數的數量並減輕深度神經網路中的消失梯度問題。因此，我們用一個密集塊替換普通CompNet中的每個灰色塊，如圖1所示。每個密集塊具有不同數量的卷積層和濾波器。具體地，每個編碼器中的密集塊分別具有4個，10個，21個，21個和21個卷積層，並且每個解碼器中的密集塊分別具有21個，21個，10個和4個層。所有這些卷積層使用相同的核心大小3×3，每層中卷積濾波器的數量為12，除了最後一個，在五密集中從32變為64，變為128，變為256，再變為512編碼器的塊在解碼器的四個密集塊中從256，到128，到64和32變化。此設計旨在通過使用更多要素圖來增加從一個密集塊傳輸到下一個密集塊的資訊量。另外，我們將丟失放在密集塊之間的過渡處。通過採用這些密集塊，與普通塊相比，我們的最佳CompNet變得更深，同時具有更少的引數（1530萬）進行優化。

普通CompNet的另一個變化是引入了多箇中間輸出[1]。這些早期輸出可以通過縮短從輸入到輸出的距離來減輕深度神經網路中的消失梯度問題。如圖1所示，分割和重建子網路中的每個解碼器具有六個輸出，每個Sigmoid函式之後一個輸出。前五個輸出是中間輸出，其是從解碼器的每個密集塊中的第一卷積層的原始和上取樣特徵圖以及最後一個密集塊中的最後卷積層的特徵圖生成的。我們觀察到，在每個密集塊的開頭都有一箇中間輸出提供了比在最後使用它時更好的效能。最後一個密集塊末尾的額外一個允許收集該塊學習的特徵。用於中間輸出的所有特徵對映的串聯生成第六輸出，該輸出是用於預測的該分支的最終輸出。此外，我們使用加法運算來整合來自兩個分段分支的每對中間或最終輸出，然後使用串聯操作來收集所有這些，從而通過Sigmoid函式（綠色函式）輸入重建子網路。在圖1）中。每個Sigmoid層使用1×1×1卷積濾波器產生具有一個通道的特徵對映，其將其響應值歸一化為[0,1]。

概率CompNet。重建子網路用於指導互補途徑的學習過程。人們可以通過提供用於訓練的補充部分的基本事實來替代它，例如，產生顱骨面罩。這種策略是我們的第一次嘗試，對於具有嘈雜背景的影象來說，這可能是非常重要的。在擁有大腦和非大腦區域的真實掩模之後，我們可以通過移除重建元件來構建僅包含圖1中的分割和互補分支的網路。為了利用補充資訊，我們在相同解析度級別的兩個分支的卷積層之間建立連線。具體地，來自一個分段分支的塊的特徵對映被轉換為概率圖，該概率圖被反轉並且與另一分支的相同解析度級別的特徵對映相乘。我們在另一個分支上執行相同的操作。從本質上講，一個分支通知另一個分支專注於學習其互補部分的特徵。該網路還可以處理病理影象中的腦提取;然而，訓練需要大腦和顱骨面罩，影象背景噪聲會影響結果。雖然我們可以設定強度閾值來對背景進行去噪，但是這個超引數可能在從不同腦MRI掃描器收集的影象之間變化。

3實驗
資料集。我們在OASIS資料集[8]上評估CompNets，其中包括對416名年齡在18到96歲之間的受試者的T1加權腦MRI掃描的集合，其中100名臨床診斷為輕度至中度阿爾茨海默病。我們使用406個受試者的子集，其具有腦影象和可用的面具，影象尺寸為256×256×256。這些受試者被隨機改組並平均分成兩個塊用於訓練和測試，使用雙重交叉驗證，類似於[7]用於（明顯）正常腦影象的比較。

為了進一步評估我們網路的穩健性，在OASIS子集的一個塊中，我們將不同位置和不同大小的影象引入大腦病理，例如合成3D腦腫瘤和具有不同強度分佈的病變，以及受損的頭骨。和非腦組織膜，如圖2的第一列所示。我們在另一塊未更改的影象上訓練網路，並在這一組噪聲影象上測試它們。

圖2。
在四個影象樣本上的五個網路，普通和密集U-Nets，概率，普通和最佳CompNets之間的定性比較：正常的，一個在大腦內部具有病理學（案例1），一個在邊界上具有病理學。 大腦（病例2）和頭骨受損的病例（病例3）。 真實（紅色）和預測（藍色）掩模疊加在原始影象上。 紫色表示地面實況與預測之間的完美重疊。 最好看的顏色。

表格1。
在（顯然）正常和病理影象上的不同網路之間的定量比較（平均值和標準偏差百分比）。 ⋆本文與我們的網路無法直接比較，因為它是在混合資料樣本上進行評估的，包括來自OASIS資料集的77張影象（57％）。 （問題：概率; Opti。：Optimal）

實驗設定。除了以0.3的速率退出之外，我們還使用L2正則化器來懲罰具有大幅度的網路權重，並且其控制超引數λ被設定為2e-4。對於訓練，我們使用Adam優化器[6]，學習率為1e-3。所有網路最多可執行10個時代。

實驗結果。我們將CompNets與[7]中提出的3D深度網路，普通U-Net（普通CompNet的骨幹）和密集U-Net（最佳CompNet的骨幹）進行比較。這些網路在（顯然）正常影象（具有雙重交叉驗證）和病理影象（在具有乾淨影象的另一個摺疊上訓練）上進行測試。給定物件的3D腦MRI掃描，我們的網路接受2D切片並逐片預測腦掩模，其被堆疊回3D掩模而無需任何後處理。

圖2顯示了預測的大腦面具之間的定性比較。對於（顯然）正常的腦部掃描，所有網路都產生視覺上可接受的腦部掩模。然而，平坦且密集的U-Nets在處理具有病理的影象方面存在困難，尤其是在腦邊界上或附近的病理組織。大腦中的部分病理組織被認為是非腦組織。當頭骨強度發生變化時，普通的U-Net甚至會將頭骨的一部分作為大腦進行調整，如案例3所示。相比之下，我們的CompNets可以正確識別大腦，最佳CompNet可以為所有四個人提供最佳的視覺效果。案例。然後我們使用Dice評分，靈敏度和特異性來量化每個網路的分割效能，如表1所示。最佳CompNet在所有網路中始終表現最佳，正常（平均骰子為98.27％）或病理性（平均骰子） 97.62％）影象，雖然其在病態影象上的表現略微降低了平均<0.7％，在最壞的情況下<2.6％。

圖3。
我們的最佳CompNet的三個輸出（b-d）用於輸入腦掃描（a）。

圖3顯示了最佳CompNet的三個輸出：大腦及其補體的掩模和重建影象。 根據腦面罩及其互補面具的組合，我們可以識別腦部影象中的不同部分。 這證實了大腦分支按預期工作; 更重要的是，互補分支已經學會了將非腦區域與腦組織分離的特徵。 這使得網路能夠處理看不見的腦組織，並且對腦部掃描中的病理學不敏感。

4討論和結論
在本文中，我們提出了一種互補的網路架構，用於從MRI掃描中分割大腦。我們觀察到最佳CompNet的互補分割分支學習了大腦外的面具，並且可以幫助識別非大腦區域中的不同結構。免費設計使我們的網路對腦部掃描中的病理不敏感，並有助於正確分割大腦。我們使用合成的病理影象，因為缺乏公共可用的腦部掃描，包括病理和頭骨。我們的原始碼可公開用於真實病理影象的內部測試1。

此外，我們當前的網路接受來自3D大腦影象的2D切片，但是該設計可以擴充套件到3D網路以直接處理3D影象。實施3D CompNets將是我們未來的工作計劃之一。此外，我們的互補網路設計並非特定於腦提取問題，但如果補充部分有助於學習和理解感興趣的物件，則可以推廣到其他影象分割問題。另一項未來工作是分析我們的CompNets的理論和幾何含義。