Rain-Free and Residue Hand-in-Hand: A Progressive Coupled Network for Real-Time Image Deraining, TIP 2021

程式碼： https://github.com/kuijiang0802/PCNet

1、背景

當前的影象去雨方法計算和儲存開銷非常大，比如說RESCAN方法處理1280X720的影象需要在 TITAN X 上消耗1.532秒。因此，需要面資源有限的移動裝置開發高效實時的影象去雨方法。

當前方法大多通過學習 residual components (也就是雨水)，來實現去雨，類似於殘差學習的思想，收斂更快，但是卻不適用於複雜場景。有學者把雨水分為多個層次（multiple layers of rain streaks），按照如下方式建模：

其中\(n\)表示雨的層數，\(I_{R,i}\)表示第\(i\)個雨水層。在本文中，作者把學習過程定義為幾個階段，如下所示：

其中\(f(I_{i,R}+I_{i,B})\)代表了雨水和背景間的 blending relation。

2、總體框架

作者提出了一個輕量級但有效的 progressive coupled network (PCNet)，總體架構如下圖所示。包括幾個級聯的coupled representation module (CRM)，一個reconstruction and reproduction module (RRM)。

對於輸入影象，首先使用3X3卷積來生成初始特徵\(f_{ini}\)

。然後，採用兩個depth-wise separable conv 來生成初始的背景影象\(f_{0,B}\)和雨水影象\(f_{0,R}\)。然後，使用步長為2的卷積進行下采樣，輸入3個CRM依次處理。最後，又採用transposed conv來恢復尺度，輸入RRM，得到無雨影象\(I^*_B\)和雨水影象\(I^*_R\)。最後，使用 selective kernel convolution來融合結果。訓練中損失函式的設計為：

其中，Charbonnier penalty function可以在訓練中更快收斂，\(\epsilon=0.001\) , \(\lambda=0.2\)。

Coupled representation module.

該模組結構如下圖所示，由一個特徵提取模組（FEB）和一個耦合表達模型（CRB）組成。FEB是一個非對稱的結構，上面為identity mapping，下面為 Channel attention unit （具體為何安排論文裡並沒有說明）。CRB採用了一個耦合對稱的結構，\(g_{i,R}\)和\(g_{i,B}\) 通過一個sigmoid函式生成 attention mask \(M_R\) 和 \(M_B\) 。具體細節可以參考作者論文，這裡不再多說。

3、實驗

論文的實驗部分非常豐富。在消融實驗和引數分析裡，結果表明 PCNet 與它的 incomplete version 相比能夠取得最好的效果。The results reveal that the coupled representation mechanism could encode the complementary or redundant information between the rain-streak branch and rain-free branch, thereby improving the estimation accuracy. 同時，作者還分析了模型中 CRM 個數和 CAU 個數兩個引數的選擇，具體可參考論文。

在與SOTA的對比方面， 作者先後在合成數據、真實資料、Rain-Haze資料上展開實驗。結果表明，PCNet is highly competitive as compared with top-performing deraining methods.

此外，作者指出，the accuracy of downstream tasks can be effective and direct metrics to evaluate a deraining model. For example, object detection and segmentation performance on the derained images using the standard algorithms. 因此，作者還做了目標檢測與分割方面的實驗。

為了表明該方法具有較好的泛化能力，作者還針對 dehazing, low-light enhancement 進行了實驗，結果表明，PCNet方法仍然能夠取得較好的效果。