1. 程式人生 > >Unsupervised Single Image Deraining with Self-supervised Constraints論文閱讀

Unsupervised Single Image Deraining with Self-supervised Constraints論文閱讀

原文連結:https://arxiv.org/pdf/1811.08575.pdf

文中提到以往的無監督方法因為沒有對應的ground truth來計算mse約束生成影象,因此會產生一些artifacts,還有就是以往的影象轉換任務都是one to one 的transform,而雨的不確定性太多,有很多不同的視覺表現。因此文中提出了self-supervised的約束方法,如圖:

輸入帶雨的圖片R到生成網路Gc 中生成區域之後的圖片C’,再R-C’得到雨層S’,再將其與真實的乾淨影象結合,合成帶雨的圖片與真實的帶雨的圖片輸入到鑑別器Ds中讓它去鑑別哪個是真的雨,哪個是合成的雨。

BGM中將輸入影象R和生成圖C’ 分別加不同程度的高斯模糊之後來求平均梯度差(average gradient error)約束使得生成圖保留住背景內容。

同時也用了一個輕量級網路Gr來反向生成帶雨的圖片約束生成圖中保留住需要保留的資訊。

因為參考的不帶雨影象可能是晴天拍攝的,所以會生成雨天亮度相符的生成影象,因此文中又加了鑑別器Dc,使得生成圖與真實不帶雨的影象更接近的同時也約束了生成圖的亮度。C為真實的不帶雨的圖,E為對C做了亮度提升的圖。

最後的總的loss:

w1,w2,w3,w4分別為1,5,1,0.5