Deep Back-Projection Networks For Super-Resolution

原文用網盤分享：https://pan.baidu.com/s/1R_lv97JaPikNgJa6TKcjkQ， 提取碼：g4u5
程式碼：https://github.com/alterzero/DBPN-Pytorch

本文是2018CVPR中一篇關於影象超分辨的論文，同時也是NTIRE2018在經典的bicubic 8倍放大賽道上的冠軍。

主要思想

近幾年，普遍用來進行影象超解析度的網路結構主要有三種。

第一種：Predefined upsampling。預定義上取樣，對低解析度影象先進行插值操作，例如雙三次插值，使得影象尺寸與目標影象尺寸一致，這是為了在低解析度和高解析度影象之間進行較好的非線性對映。但是，該操作可能會引入新的噪聲，並且計算量較大。

第二種：Single upsampling。在最後一層進行上採用，直接對低解析度影象做卷積操作，不進行插值操作，這樣減少了計算量。但是無法學習到複雜的對映。

第三種：Progressive upsampling。漸進式上取樣，類似於單個上取樣的堆疊。本文提出了一種迭代上取樣和下采樣的網路結構，有點類似於傳統的迭代演算法。直觀地看，是為了能夠更深地挖掘低解析度和高解析度影象直接的相互依賴關係。本文提出的深度反投影網路中有兩個重要的模組：上投影單元和下投影單元。兩種投影單元的網路和數學描述如下所示 。




上投影單元中，將低解析度影象先進行反捲積，上取樣得到高解析度特徵圖，將該高解析度圖進行卷積，下采樣得到一個低解析度特徵圖，再將得到的低解析度特徵圖和一開始的低解析度影象進行殘差運算

本文在去年提出的Dense網路的基礎上，擴充套件了所提出的深度反投影網路。由於Dense網路被證明能緩解梯度消失問題，並且可以產生改進的特徵、鼓勵特徵重用，本文提出了D-DBPN。
與Dense網路的不同的是，本文沒有采用丟棄法和批資料規範，而是採用1×1卷積層作為特徵池化和尺度縮小，這是為了避免丟失影象中的有用資訊。稠密的投影單元如下所示。

整個D-DBPN的架構主要分為三個部分：初始特徵提取，反向投影階段和重構階段。如下圖所示。

初始特徵提取階段採用兩個卷積層，先將低解析度影象做最初的3×3卷積操作，接著進行1×1卷積操作。然後進入反向投影階段，如果有T個階段，則說明有T個up projection單元和T-1個down projection單元，並且每個單元中有三層。之後，將每個上投影單元生成的高解析度特徵圖進行級聯，用3×3卷積來重構出高解析度影象。

本文的實驗用caffe搭建，Matlab R2017a，在NVIDIA TITAN X GPUs執行，訓練集採用了DIV2K，Flickr和ImageNet，和之前的291image相比大很多。

本文對於不同尺度的超分辨任務，設定的卷積核引數也不一樣：
對於2×的任務，kernel=6* 6，stride= 2，padding =2；
對於4×的任務，kernel=8* 8，stride =4，padding =2；
對於8×的任務，kernel=12*12，stride =8，padding= 2。
例如，為了處理經典的雙三次插值下采樣SR問題，在影象放大8倍時，DBPN在投影單元中使用12×12的卷積層，八個步長和兩個填補項，並且採用了19個投影單元（10個向上和9個向下投影單元）來生成 SR結果。

實驗結果

從視覺效果和數值分析來看，放大4倍時，雖然我們的D-DBPN和之前的EDSR的PSNR和SSIM相比相差不大，甚至有低一點的，但從視覺看，我們的方法能更好重建出原圖效果，更加接近原圖特徵。

在放大8倍時，無論從視覺效果還是數值表現來看，我們的方法都取得了較好的結果。即使PSNR和SSIM與之前的值相差不是很大，但從視覺上可以看出，影象重建效果很接近原圖。

總結

DBPN主要思想認為以往的CNN方法中，從LR到SR是一個完全上採用的過程，這過程中沒有完全處理好LR到SR的與HR之間的差異。在高倍放大下更為顯著。所以DBPN提供了一個up-down的投影單元，希望通過迭代上下交替取樣的糾正反饋機制，恢復更好的細節特徵。論文中的結果以及本次NTIRE2018的結果可以看出DBPN在高倍放大下比LapSR、EDSR擁有更好的效果。