萌新的U-Net 影象分割網路及其衍生網路論文閱讀筆記
阿新 • • 發佈：2022-04-10
U-Net 影象分割網路及其衍生網路論文閱讀筆記
U-Net
簡介
“U-Net”原用於生物醫學領域的小樣本高精度影象語義分割,整個網路結構呈現U型而得名
U-Net 網路結構
網路結構
U-Net 類似於編碼器和解碼器的結構，整個流程為 U 型，左邊的為下采樣過程，右邊為上取樣過程，中間的灰色箭頭是將特徵圖進行跳層聯結，其原理和 Dense-Net 相同，即 concatenate ，torch.cat([x1,x2])。可以將淺層的定位資訊和高層的畫素分類判定資訊進行融合，從而得到更佳的結果。
特點
- 通過使用 卷積層 Padding = 0,使特徵圖大小 -2的同時增加通道數，同時可以減小視訊記憶體開銷；
- 在影象的邊緣採用 對稱映象Padding 的方式補充分割，減小邊緣畫素資訊損失和錯誤拼接資訊輸入（見下圖）；
U-Net 影象邊緣補齊
-
下采樣使用 max-pooling，上取樣使用步長為 2 的反捲積
-
迫使網路學習在接觸的單元之間引入的小分離邊界（這一部分不是很清楚）
分離邊界學習
分割邊界是使用形態學操作計算出來的。然後，權重圖被計算為：
\[\omega \left( x \right) =\omega _c\left( x \right) +\omega _0\cdot \exp \left( -\frac{\left( d_1\left( x \right) +d_2\left( x \right) \right) ^2}{2\sigma ^2} \right) \]U-Net++
簡介
U-Net++，一個基於巢狀和密集跳過連線的新分割架構。架構背後的基本假設是，當來自編碼器網路的高解析度特徵圖在與來自解碼器網路的相應的語義豐富的特徵圖融合之前，該模型可以更有效地捕獲前景目標的細微細節。（感覺和殘差結構非常類似）
特點
- U-Net的多次次下采樣會使得特徵圖所表達的資訊更加抽象（從基本的線條到更抽象的資訊），這會使得淺層的邊緣資訊被更抽象的資訊覆蓋，與嚴格的分割要求不符。因此採用密集ji卷積塊（dense convolutional blocks）在融合之前彌補編碼器和解碼器的特徵圖之間的語義差距
U-Net++ 深度卷積結構
- 在U-Net中，編碼器的特徵圖直接在解碼器中被重新接收；然而，在U-Net++中，它們要經過一個密集的卷積塊，其卷積層的數量取決於金字塔級別（見上圖）。
- 深度監督（Deep supervision）
不是很理解，論文裡面也沒詳細說- 精確模式，即所有分割分支的輸出都是平均的。
- 快速模式，即只從一個分割分支中選擇最終的分割圖，其選擇決定了模型修剪的程度和速度增益。