Deep Watershed Transform for Instance Segmentation
CVPR2017
https://github.com/min2209/dwt

本文將傳統的 watershed transform 分割演算法 結合 CNN網路 實現 物體分割

首先來回顧一下 instance level segmentation 都有哪些方法：
1）Proposal based: 基於候選區域提取的方法，首先提取物體的候選區域，然後再對候選區域進行細化分割 refinement
2）Deep structured models: CNN+ conditional random field (CRF)
3）Template matching: CNN+ template matching scheme
4) Recurrent Networks: CNN+ recurrent neural network (RNN) , ConvLSTM
5) CNN[15]: 只用CNN來完成
6）Proposal + recursion [14]: CNN 候選區域+ recursion

3 A Review on the Watershed Transform
首先來看看分水嶺演算法的大致思路：我們可以將一幅灰度影象看作一個地形圖 topographic surface，我們從地形圖的最低點 minima 開始注水，同時我們建造誰把barriers 用於防止兩個不同注水的的水融合到一起去。這樣我們就可以將地形圖分割為若干區域，這裡每個區域我們稱之為 catchment basins，我們建造的水壩 barriers or watershed lines 表示兩物體的邊界線。

分水嶺演算法一個問題就是容易過分割。這裡我們使用 CNN 網路來解決這個過分割問題。

4 Deep Watershed Tranform
這裡我們希望使用 CNN網路來學習預測 一個 energy landscape，其每個 basin 對應一個物體，如上圖的下半部分所示。但是從頭開始學習這個 energy landscape 很難。這裡我們定義了一箇中間任務，就是我們學習 分水嶺能量圖的下降方向 direction of descent of the watershed energy，然後將這個輸入到另一個網路用於學習最終的能量圖。我們可以將這個中間結果理解為 學習每個目標內的點到其邊界的距離，learning to perform the distance transform of each point within an object instance to the instance’s boundary

我們的整體網路結果如下圖所示：

4.1. Direction Network (DN)
這裡的輸入只關注物體區域， the original RGB image gated by semantic segmentation（PSPNet [34]），非物體區域清零。input image is augmented by adding the semantic segmentation as a fourth channel

這一步主要用於 estimate the direction of descent of the energy at each pixel，對應 Figure 4 中的 f

4.2. Watershed Transform Network (WTN)
基於分水嶺能量圖的下降方向圖，我們來 predict a modified watershed transform energy
對應 Figure 4 中的 g

4.3. Network Training
首先預訓練 DN and WTN networks
分別定義了幾個損失函式：
Direction Network pre-training: mean squared error in the angular domain

Watershed Network pre-training: modified cross-entropy loss

End-to-end fine-tuning:

4.4. Energy Cut and Instance Extraction
得到最終的分割結果

5 Experimental Evaluation
Cityscapes