- 文章轉自微信公眾號：「機器學習煉丹術」 - 作者：煉丹兄（已授權） - 聯絡方式：微信cyx645016617（歡迎交流共同進步） - 論文名稱：“Dual Network Generative Adversarial Networks for Pediatric Echocardiography Segmentation” ## 0 準備工作 ### 0.1 生詞 - Pediatric 兒童的 - Pediatric echocardiography 小兒超聲心動圖 - CHD ： congenital heart disease 先天心臟病 ### 0.2 ## 1 綜述 為了獲得高質量的分割結果，目前臨床上小兒超聲心動圖的分割主要由超聲工作者手工完成，這既費時費力，又高度依賴於超聲工作者的專業水平。為了解決這些問題，本文提出了一種新的卷積神經網路（CNN）結構，稱為雙網路一般對抗網路（DNGAN）。DNGAN由一個產生器和兩個鑑別器組成，產生器採用並行對偶網路來提取更多有用的特徵以提高效能。我們使用雙重鑑別器來強制生成器學習更多的空間特徵，並更準確地分割左心的邊緣。 ## 2 問題提出  圖中是兒童的心臟的左心室和左心房的分割標註label，可以發現：**左心房的變化比較明顯，並且內壁會存在模糊**，因此目前的對於四腔的分割存在一下挑戰： （1）因為噪音和模糊出現的邊界不清晰； （2）心臟的尺寸對於不同人是不同的； （3）每一個心動週期心房和心室的變化是不同的。 ## 3 模型結構  這個DNGAN的結構如上所示：包含一個生成器和兩個鑑別器。 ### 3.1 generator 由一個U-net和FCN並行構成，分別從輸入圖片中提取兩種特徵，然後特徵進行畫素相乘. FCN輸出的特徵圖為$f_1$,U-net輸出的特徵圖為$f_2$,那麼由generator輸出的影象分割結果為$F_G = f_1 \times f_2$. ### 3.2 discriminator 是一個六層的全卷積網路，然後分別用7，5，3作為卷積核的大小。卷積層後面跟著BN層和LeakReLU啟用層。 使用的是multi-scale L1損失，類似於2014年的影象分割網路Richer conv net。 ## 4 損失 ### 4.1 generator損失 先回顧一下一般的GAN的損失函式：  在公式中： - x是real image - z是random import for generator - G(z)是生成的mask - D(x) 是判別起判斷x是true的概率 再來看一下DNGAN的損失函式：  - N為樣本的數量； - $x_n$為某一張兒童超聲心動圖四腔圖，$y_n$為對應的ground truth； - $l_m$是mean absolute error，也就是我們說的L1loss；  這個可以看到，$f_D(x)$是discrimintor提取的特徵，L表示discrimintor的層數，所以$f_D^i(x)$表示discrimintor第i層提取出來的特徵圖 - $l_{cos}$就是常說的cross entropy； - $l_{D_2}$是第二個discriminitor的損失函式，也比較複雜我們來看一下，這個損失函式分辨的是：**輸入的是生成的mask還是真實的mask**。 ## 5 資料描述 - 資料集包含87個兒童超聲心動圖； - 蒐集的是0到10歲的健康的兒童，每個視訊至少包含24幀和一個完成的心動週期； - 隨機選擇67個視訊，抽取了1765個圖片作為訓練集；剩下20個視訊抽取451個視訊作為測試集； - 原始圖片的解析度是1016x708或者636x432，所有的圖片經過中心crop後變成704x704和448x448； ## 6 總結 1, 這篇文章的結果和過程存在疑點，文章中出現一處公式的疑似符號錯誤。  2, 文章中的並沒有給出第二個discrimintor的loss使用MSE和BCE的平均值的原因，不確定是否之前就有文章已經討論過這個樣做的優勢。從結果來看，使用GAN的框架來訓練造成的提升並不高，反而提升分割精度的重點應該是分割網路的特徵融合和寬度增加。 3， 文章使用GAN應用在兒童超聲心臟病上的出發點很好，希望可以幫助更多的兒童擺脫先天性心臟病的