2. 程式人生 > >基於深度學習的影象語義分割演算法綜述

基於深度學習的影象語義分割演算法綜述

阿新 • • 發佈：2019-01-23

   作者： 葉  虎            

編輯：趙一帆           

前  言


本文翻譯自An overview of semantic image segmentation，原作者保留版權。

這篇文章講述卷積神經網路在影象語義分割（semantic image segmentation）的應用。影象分割這項計算機視覺任務需要判定一張圖片中特定區域的所屬類別。

這個影象裡有什麼？它在影象中哪個位置？

更具體地說，影象語義分割的目標是將影象的每個畫素所屬類別進行標註。因為我們是預測影象中的每個畫素，這個任務通常被稱為密集預測（dense prediction）。

640?wx_fmt=png需要注意的一點是我們不對同一類的例項進行分離; 我們只關心每個畫素的類別。 換句話說，如果輸入影象中有兩個相同類別的物件，則分割圖本身並不一定將它們區分為單獨的物件。 存在另外一類不同的模型，稱為例項分割

（instance segmentation）模型，其將分離同一類的各個物件。

分割模型廣泛應用在各領域中，包括：

  • 自動駕駛（Autonomous vehicles）

    • 汽車需要安裝必要的感知系統以瞭解它們的環境，這樣自動駕駛汽車才能夠安全地駛入現有的道路。

640?wx_fmt=png

  • 影像診斷（Medical image diagnostics）

    • 機器在分析能力上比放射科醫生更強，而且可以大大減少診斷所需時間。分割後的胸部X片，其中紅色是心臟，綠色是肺，藍色是鎖骨。

640?wx_fmt=png

章節目錄

  • 任務描述

  • 架構設計

    • 上取樣（upsampling）方法

    • 全卷積網路(Fully convolutional networks)

    • 新增短路連線(Adding skip connections)

    • 高階的U-Net變體(Advanced U-Net variants)

    • 空洞卷積(Dilated/atrous convolutions)

  • 損失函式

  • 常用資料集以及影象分割大賽

    • 資料集

    • 以往的Kaggle競賽

  • 延伸閱讀

01

任務描述

簡單來說，我們的目標是輸入一個RGB彩色圖片 height X width X 3 或者一個灰度圖 height X width X 1，然後輸出一個包含各個畫素類別標籤的分割圖height X width X 1。

640?wx_fmt=png

注意：為了清晰起見，這裡給出的是一個低解析度的預測圖。在現實中，分割標籤的解析度應該與原始輸入的解析度是一致的。

與我們處理標準分類值的方式類似，我們的預測目標可以採用one-hot編碼，即為每一個可能的類建立一個輸出通道。通過取每個畫素點在各個channel的argmax

可以得到最終的預測分割圖（如上圖所示）。

640?wx_fmt=png

我們可以將分割圖疊加到原始影象上可以檢驗分割效果。當我們將預測結果疊加到單個channel時，稱這為一個mask，它可以給出一張影象中某個特定類的所在區域。

640?wx_fmt=png

02

架構設

對於影象語義分割任務，構建神經網路架構的一種簡單方法是簡單地堆疊多個卷積層（使用same padding以維持維度大小）並輸出最終的分割圖。 這通過特徵對映的連續變換直接學習從輸入影象到其對應分割的對映關係；但是，在整個網路中保持影象原始解析度的計算成本非常高。

640?wx_fmt=png

缺點：在整個網路中維持影象原始維度計算成本很高（來源：cs231n）

回想一下，對於深度卷積網路，前面的層傾向於學習低階特徵，而後面的層學習更高階的特徵對映。為了保持表現力，我們通常需要在網路更深時增加特徵圖（channels）的數量。

這不一定對影象分類的任務造成問題，因為對於該任務，我們只關心影象中包含的物體（而不是它所在的位置）。 因此，我們可以通過通過池化或跨步卷積（即壓縮空間解析度）週期性地對特徵圖進行下采樣來減輕計算負載。然而，對於影象分割，我們希望我們的模型最後給出全解析度的語義預測。

用於影象分割模型的一種流行方法是遵循編碼器/解碼器（encoder/decoder）結構，其中我們先對輸入進行下采樣（downsample），得到較低解析度的特徵對映，其學習到了如何高效地區分各個類，然後對這些特徵進行上取樣（upsample）以得到一個全解析度分割圖。

640?wx_fmt=png

上取樣（upsampling）方法

可以採用不同的方法來上取樣以提高特徵圖的解析度。 pooling操作聚合一個區域性區域（平均或最大池化）來下采樣，相對應地，unpooling操作通過將單個值分配到更高的解析度來上取樣。

640?wx_fmt=png

然而目前為止最流行的方法是轉置卷積（transpose convolutions），因為它是通過學習得到的上取樣方法。

640?wx_fmt=png而典型的卷積運算將視野中所有值求點積並在相應位置輸出單個值，而轉置卷積恰恰相反。對於轉置卷積，低解析度特徵圖中某個值，乘以卷積核中的權重值，將這些加權值對映到輸出特徵圖。

640?wx_fmt=png

某些卷積核可能在輸出特徵圖中產生重疊（例如的卷積， 如下圖所示），此時重疊值就簡單地加在一起。 不好的是，這往往會在輸出中形成棋盤效應（不均勻重疊，可以參考Deconvolution and Checkerboard Artifacts），這是不希望被看到的，因此最好確保選擇的卷積核不會導致重疊。

640?wx_fmt=gif

全卷積網路(Fully convolutional networks)

2014年底，Long等人介紹了使用“全卷積”網路解決畫素級影象分割任務，其實現了端到端的訓練。 該論文的作者採用已有的較優影象分類網路（例如AlexNet）作為網路的編碼器模組，並增加了帶有轉置卷積層的解碼器模組，以便對粗粒度的特徵圖進行上取樣以得到全解析度分割圖。

640?wx_fmt=png

整個網路如下所示，它採用畫素級交叉熵損失函式進行訓練。

640?wx_fmt=png

然而，由於編碼器模組將輸入的解析度降低了32倍，所以解碼器模組很難得到細粒度的分割（如下所示）。

640?wx_fmt=png

作者對這種困境做出瞭如下評論：

語義分割面臨語義和位置之間的內在矛盾：全域性資訊解決的是“是什麼”問題，而區域性資訊解決的是“在哪裡”的問題……結合細粒度層和粗粒度層使模型能在全域性資訊下做出區域性預測。

新增短路連線(Adding skip connections)

作者對編碼的特徵緩慢上取樣（分階段）來解決上面的問題，並添加了從前面層的短路連線，最後對這樣的兩個特徵圖求和。

640?wx_fmt=png

這些從網路中較早層的短路連線（在下采樣操作之前）應該包含必要的細節，這樣可以重建準確的分割邊界。 因而，我們可以通過加上這些短路連線來恢復更精密的細節。

640?wx_fmt=png

Ronneberger等人通過擴大網路解碼器模組的容量來改進“全卷積”架構。更具體地說，他們提出了U-Net架構，它包括一個可以捕獲上下文資訊的收縮路徑（contracting path）和一個能夠實現精確定位的與收縮路徑對稱的擴充套件路徑。這種更簡單的架構已經變得非常流行，並且已經對一系列分割問題有效。

640?wx_fmt=png

注意：由於使用了valid填充，原始網路會出現解析度降低。然而，一些人會選擇使用same填充來保證解析度不變。

而Long等人（FCN論文）指出資料增強（隨機映象，或者通過將影象平移32畫素來隨機抖動）並沒有導致效能的顯著提升。Ronneberger等人（U-Net論文）卻發現數據增強（對訓練樣本作隨機的彈性變形）是訓練成功的關鍵之一。似乎資料增強的有效性（和型別）取決於問題所在的領域。

高階的U-Net變體(Advanced U-Net variants)

標準U-Net模型的block中由一系列卷積層組成。有一些更高階的block可以替代這些堆疊卷積層。

Drozdzal等人（The Importance of Skip Connections in Biomedical Image Segmentation）採用了殘差塊（residual blocks）。除了標準U-Net結構中已有的長短路連線（在編碼器和解碼器模組的相應特徵圖之間），該殘差塊在塊內引入短路連線。他們發現這種短路連線使得訓練過程收斂更快，並可以訓練更深層的網路模型。


更進一步，Jegou等人（Pattern Recognition The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation）採用了密集連線塊（DenseNet網路單元），仍然使用U-Net架構，他們指出DenseNet的特點對語義分割很有效，因為它自然地引入短路連線，並實現了多尺度監督。這些密集塊有效之處在於它們不僅包含從最近層得到的高階特徵，還包含了從前面層傳遞的低階特徵，這實現了高效的特徵重用。

640?wx_fmt=png

該架構的一個非常重要點是上取樣路徑在密集塊的輸入和輸出之間沒有短路連線。作者指出，由於上取樣路徑會增加特徵圖的空間解析度，因此特徵數量的線性增長對記憶體要求太高。因此，只有密集塊的輸出在解碼器模組中被傳遞。

640?wx_fmt=png

空洞卷積(Dilated/atrous convolutions)

對特徵圖進行下采樣的一個好處是，在給定卷積核情況下，它會增加後續卷積的感受野（相對於輸入）。由於大卷積核的引數效率低（在Rethinking the Inception Architecture for Computer Vision 的3.1節中討論），這種方法比增加捲積核大小更好。 然而，這是以降低空間解析度為代價的。

空洞卷積為獲得寬感受野提供了另一種方法，其可以保持完整的空間維度。如下圖所示，用於空洞卷積的值是在某個指定的擴張率（dilation rate）下間隔開的。

640?wx_fmt=gif

一些架構（Multi-Scale Context Aggregation by Dilated Convolutions）使用使用一系列擴張率連續增長的空洞卷積層來替換一些pooling層，以實現在不損失空間細節的同時獲得相同的感受野。然而，完全使用空洞卷積替換掉pooling層依然會導致較大的計算成本（見DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs）。

03

損失函式

用於影象分割任務的最常用的損失函式是畫素級的交叉熵損失（pixel-wise cross entropy loss）。 該損失單獨地檢查每個畫素點，將類預測（深度方向的畫素向量）與one-hot編碼的目標向量進行比較。

640?wx_fmt=png

因為交叉熵損失函式單獨評估每個畫素向量的分類預測，然後對所有畫素求平均值，所以我們基本上假定同等地對待影象中每個畫素點。 如果各種類在影象分佈不平衡時，這可能會是一個問題，因為訓練過程將受最多的類所支配。Long等人（FCN論文）為每個輸出通道的損失使用了權重，以抵消資料集中類不平衡問題。

同時，Ronneberger等人（U-Net論文）為每個畫素的損失設定權重，使得分割物件的邊界處具有更高的權重。該損失加權方案使得U-Net模型以不連續的方式分割生物醫學影象中的細胞，這樣可以在二元分割圖中容易地分離出單個細胞

640?wx_fmt=png

用於影象分割任務另一種流行的損失函式是基於Dice係數的損失，其本質上是衡量兩個樣本之間的重疊度。該度量值在0~1之間，其中Dice係數為1表示完全重疊。Dice係數最初針對二進位制資料而提出的，計算公式如下：

640?wx_fmt=png

因為我們的目標mask是二進位制的，所以我們首先將預測結果中在目標mask中為0的畫素清零。對於剩餘的畫素，我們基本上是在懲罰低置信度的預測值；該表示式的值越高（在分子中），Dice係數越高。

對於|A|和|B|，一些研究者（The Importance of Skip Connections in Biomedical Image Segmentation）簡單地求和，另外一些研究者（V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation）傾向於採用平方和。我並沒知道在一系列任務中哪種方式更好，所以你可以兩種方式都嘗試，然後選擇結果最好的那個

640?wx_fmt=png

你可能會問想知道，為什麼Dice係數的分子中有2，這是因為我們的分母重複計算了兩集合之間的共同元素。 由於損失函式要最小化，我們將簡單地使用1-Dice作為損失函式。這種損失函式被稱為soft Dice損失，因為我們直接使用預測概率而不是先設定閾值並將它們轉換為二進位制mask。

對於神經網路的輸出，分子關注的是預測和目標mask之間的共同啟用值，而分母與每個mask中的啟用量相關。 這產生一種根據目標mask的大小來歸一化損失的效果，使得soft mask損失不會難以從影象中分佈較少的類中學習。

注意soft Dice是對於每個類是單獨計算的，然後平均各個類的結果作為最終的評分。例子如下圖所示。

640?wx_fmt=png


04

常用資料集以及影象分割大賽

下面，我列出了一些常用資料集，研究人員使用這些資料集來訓練新模型和並作為現有技術的基準。 你還可以看一下之前的Kaggle比賽，並瞭解獲勝方的解決方案是如何在特定任務贏得比賽的。

資料集

  1. [PASCAL VOC 2012 Segmentation Competition](http://host.robots.ox.ac.uk/pascal/VOC/voc2012/index.html)

  2. [COCO 2018 Stuff Segmentation](http://cocodataset.org/#stuff-2018)

  3. [Task BDD100K: A Large-scale Diverse Driving Video Database](http://bair.berkeley.edu/blog/2018/05/30/bdd/)

  4. [Cambridge-driving Labeled Video Database (CamVid)](http://mi.eng.cam.ac.uk/research/projects/VideoRec/CamVid/)

  5. [Cityscapes Dataset](https://www.cityscapes-dataset.com/)

  6. [Mapillary Vistas Dataset](https://www.mapillary.com/dataset/vistas)

  7. [ApolloScape Scene Parsing](http://apolloscape.auto/scene.html)

以往的Kaggle競賽

  1. [2018 Data Science Bowl](https://www.kaggle.com/c/data-science-bowl-2018) ([first place solution](https://www.kaggle.com/c/data-science-bowl-2018/discussion/54741))

  2. [Carvana Image Masking Challenge](https://www.kaggle.com/c/carvana-image-masking-challenge) ([first place solution](https://arxiv.org/abs/1801.05746))

  3. [Dstl Satellite Imagery Feature Detection](https://www.kaggle.com/c/dstl-satellite-imagery-feature-detection) ([third place solution](https://arxiv.org/abs/1706.06169))

05

延伸閱讀

論文

  1. [Fully Convolutional Networks for Semantic Segmentation](https://arxiv.org/abs/1605.06211)

  2. [U-Net: Convolutional Networks for Biomedical Image Segmentation](https://arxiv.org/abs/1505.04597)

  3. [The Importance of Skip Connections in Biomedical Image Segmentation](https://arxiv.org/abs/1608.04117)

  4. [The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation](https://arxiv.org/abs/1611.09326)

  5. [Multi-Scale Context Aggregation by Dilated Convolutions](https://arxiv.org/abs/1511.07122)

  6. [DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs](https://arxiv.org/abs/1606.00915)

  7. [Rethinking Atrous Convolution for Semantic Image Segmentation](https://arxiv.org/abs/1706.05587)

  8. [Evaluation of Deep Learning Strategies for Nucleus Segmentation in Fluorescence Images](https://www.biorxiv.org/content/early/2018/05/31/335216)

課程

  1. [Stanford CS231n: Detection and Segmentation](https://youtu.be/nDPWywWRIRo) ([Lecture Slides](http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture11.pdf))

部落格

  1. [Mat Kelcey's (Twitter Famous) Bee Detector](http://matpalm.com/blog/counting_bees/)

  2. [Semantic Image Segmentation with DeepLab in TensorFlow](https://ai.googleblog.com/2018/03/semantic-image-segmentation-with.html)

  3. [Going beyond the bounding box with semantic segmentation](https://thegradient.pub/semantic-segmentation/)

  4. [U-Net Case Study: Data Science Bowl 2018](https://medium.com/@keremturgutlu/semantic-segmentation-u-net-part-1-d8d6f6005066)

  5. [Lyft Perception Challenge: 4th place solution](https://nikolasent.github.io/proj/comp2.html)

圖片標註工具

  1. [labelme: Image Polygonal Annotation with Python](https://github.com/wkentaro/labelme)

640?wx_fmt=gif

END

往期回顧之作者劉才權



機器學習演算法工程師

                            一個用心的公眾號

640?wx_fmt=jpeg

長按，識別，加關注

進群，學習，得幫助

你的關注，我們的熱度，

我們一定給你學習最大的幫助

相關推薦

基於深度學習的影象語義分割演算法綜述（截止20180715）

這篇文章講述卷積神經網路在影象語義分割（semantic image segmentation）的應用。影象分割這項計算機視覺任務需要判定一張圖片中特定區域的所屬類別。 這個影象裡有什麼？它在影象中哪個位置？ 更具體地說，影象語義分割的目標是將影象的每個畫素所

基於深度學習的影象語義分割演算法綜述

   作者： 葉  虎            編輯：趙一帆           前  言本文翻譯

基於深度學習的目標檢測演算法綜述（一）（截止20180821）

參考：https://zhuanlan.zhihu.com/p/40047760 目標檢測（Object Detection）是計算機視覺領域的基本任務之一，學術界已有將近二十年的研究歷史。近些年隨著深度學習技術的火熱發展，目標檢測演算法也從基於手工特徵的傳統演算法轉向了基於深度神經網路的檢測技

基於深度學習的目標檢測演算法綜述（三）（截止20180821）

參考：https://zhuanlan.zhihu.com/p/40102001 基於深度學習的目標檢測演算法綜述分為三部分： 1. Two/One stage演算法改進。這部分將主要總結在two/one stage經典網路上改進的系列論文，包括Faster R-CNN、YOLO、SSD等經

基於深度學習的目標檢測演算法綜述（二）（截止20180821）

參考：https://zhuanlan.zhihu.com/p/40020809 基於深度學習的目標檢測演算法綜述分為三部分： 1. Two/One stage演算法改進。這部分將主要總結在two/one stage經典網路上改進的系列論文，包括Faster R-CNN、YOLO、SSD等經

基於深度學習的目標檢測演算法綜述：演算法改進

想了解深度學習的小夥伴們，看一下！ 以後自己學深度學習了，再來看此貼！ 只能發一個連結了： https://mp.weixin.qq.com/s?__biz=MzU4Nzc0NDI1NA==&mid=2247483731&idx=1&sn=37667093807751

基於深度學習的目標檢測演算法綜述（一）

前言 目標檢測（Object Detection）是計算機視覺領域的基本任務之一，學術界已有將近二十年的研究歷史。近些年隨著深度學習技術的火熱發展，目標檢測演算法也從基於手工特徵的傳統演算法轉向了基於深度神經網路的檢測技術。從最初2013年提出的R-CNN、OverFeat

基於深度學習的目標檢測演算法綜述（二）

前言 基於深度學習的目標檢測演算法綜述分為三部分： 1. Two/One stage演算法改進。這部分將主要總結在two/one stage經典網路上改進的系列論文，包括Faster R-CNN、YOLO、SSD等經典論文的升級版本。 2. 解決方案。這部分論文對物體檢

基於深度學習的目標檢測演算法綜述：常見問題及解決方案

導讀：目標檢測（Object Detection）是計算機視覺領域的基本任務之一，學術界已有將近二十年的研究歷史。近些年隨著深度學習技術的火熱發展，目標檢測演算法也從基於手工特徵的傳統演算法轉向了基於深度神經網路的檢測技術。從最初 2013 年提出的 R-CNN

基於深度學習的目標檢測演算法綜述（三）

轉自：https://zhuanlan.zhihu.com/p/40102001 基於深度學習的目標檢測演算法綜述（一） 基於深度學習的目標檢測演算法綜述（二） 基於深度學習的目標檢測演算法綜述（三） 本文內容原創，作者：美圖雲視覺技術部 檢測團隊，轉載請註明出處  

基於深度學習的目標檢測演算法綜述（二）—Two/One stage演算法改進之R-FCN

基於深度學習的目標檢測演算法綜述（一）：https://blog.csdn.net/weixin_36835368/article/details/82687919 目錄 1、Two stage 1.1 R-FCN：Object Detection via Region-based

當前主流的深度學習影象語義分割模型解析

轉載自【量子位】公眾號 QbitAI原文地址：http://www.sohu.com/a/155907339_610300影象語義分割就是機器自動從影象中分割出物件區域，並識別其中的內容。量子位今天推薦的這篇文章，回顧了深度學習在影象語義分割中的發展歷程。釋出這篇文章的Qur

基於深度學習的目標檢測演算法綜述

導言 目標檢測的任務是找出影象中所有感興趣的目標（物體），確定它們的位置和大小，是機器視覺領域的核 心問題之一。由於各類物體有不同的外觀，形狀，姿態，加上成像時光照，遮擋等因素的干擾，目標檢測 一直是機器視覺領域最具有挑戰性的問題。本文將針對目標檢測（Object Detec

乾貨 | 基於深度學習的目標檢測演算法綜述

Original url: 精品文章，第一時間送達 來源：美圖雲視覺技術部 轉自：美團技術，未經允許不得二次轉載 目標檢測（Object Detection）是計算機視覺領域的基本任務之一，學術界已有將近二十年的研究歷史。近些年隨著深度學習技術的火熱發展，目標

使用深度學習技術的影象語義分割最新綜述

http://abumaster.com/2017/07/10/%E4%BD%BF%E7%94%A8%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%8A%80%E6%9C%AF%E7%9A%84%E5%9B%BE%E5%83%8F%E8%AF

[深度學習]圖片語義分割深度學習演算法要點回顧

Review of Deep Learning Algorithms for Image Semantic Segmentation Arthur Ouaknine Dec 11

學習筆記之——基於深度學習的目標檢測演算法

        國慶假期閒來無事~又正好打算入門基於深度學習的視覺檢測領域，就利用這個時間來寫一份學習的博文~本博文主要是本人的學習筆記與調研報告（不涉及商業用途），博文的部分來自我團隊的幾位成員的調研報告（由於隱私關係，不公告他們的名字了哈~），同時結合

基於深度學習的語義匹配

語義匹配技術，在資訊檢索、搜尋引擎中有著重要的地位，在結果召回、精準排序等環節發揮著重要作用。 傳統意義上講的語義匹配技術，更加註重文字層面的語義吻合程度，我們暫且稱之為語言層的語義匹配；而在美團這樣典型的O2O應用場景下，我們的結果呈現除了和使用者表達的語言層語義強相關之外，還和使用者意圖、使

深度學習之---語義分割+視訊分割 開原始碼文獻集合

語義分割 Light-Weight RefineNet for Real-Time Semantic Segmentation BMVC 2018 https://github.com/DrSleep/light-weight-refinenet 語義分割 ESPNet: Efficient S

[深度學習]從全卷積網路到大型卷積核：深度學習的語義分割全指南

語義分割一直是計算機視覺中十分重要的領域，隨著深度學習的流行，語義分割任務也得到了大量的進步。本文首先闡釋何為語義分割，然後再從論文出發概述多種解決方案。本文由淺層模型到深度模型，簡要介紹了語義分割各種技術，雖然本文並沒有深入講解語義分割的具體實現，但本文簡要地概述了每一篇重要