引言

　　基於低解析度的影象恢復高分辨影象具有重要意義，近年來，利用深度學習做單張影象超分辨主要有兩個大方向：1、減小失真度（distortion, 意味著高PSNR）的影象超分辨，這類方法主要最小化均方誤差；2、提高感知質量(perception)的影象。這類方法主要利用GAN來做約束，使得生成的影象和真實的高解析度影象儘可能符合相同分佈。這兩大方向存在一種tradeoff，因為通常低失真度（高PSNR）的影象往往感知質量不高，不符合人眼認知，而高感知質量（本文用NRQM指標度量，高NRQM）的影象，用PNSR指標衡量較低。如下圖：

 　　當前有工作考慮分別用兩個網路訓練生成低失真度和高感知質量的影象，再進行插值融合。然而影象的objective quality和perception quality由影象的不同部分影響，如果將目標影象作為整體優化，提高objective quality時，perception quality會下降，反之亦然。因此本文提出一種新的兩影象（低失真度和高感知影象）融合策略。本文利用小波變換將影象分解成低頻部分和高頻部分，低頻部分影響objective quality，高頻部分影響perception quality.

Motivation（動機）

　　論文將利用CX演算法得到的高分辨影象$A_p$（high perception quality）、EDSR演算法得到的高分辨影象$A_o$(high objective quality)、GroundTruth進行Haar小波分解,得到一個低頻子帶和三個高頻自帶，並展示它們的直方圖，發現$A_o$影象低頻部分和GroundTruth對應的低頻部分分佈很接近，而$A_p$的三個高頻子帶的分佈和GroundTruth對應的高頻子帶分佈很接近。

演算法:

　　將$A_o$分解為 $LL^{o}, LH^{o}, HL^{o}, HH^{o}$, $A_p$分解為$LL^{p}, LH^{p}, HL^{p}, HH^{p}$, 融合後的影象子帶$LL^{r}, LH^{r}, HL^{r}, HH^{r}$.演算法總體框架如下：

 　　利用LSE網路，以$LL^{o}$作為輸入恢復$LL^{r}，利用WDST網路，以$LH^{o}$,$LH^{p}$，$LH^{r}$作為網路輸入，其中$LH^{r}$作為可訓練引數（具體細節後面再說）。$HL^{r}$,$HH^{r}$同理可得。

LSE網路如下：

WDST網路如下：

第一部分：重構$LL^{r}$

　　考慮GroundTruth的$LL^{gt}$子帶和$LL^{o}$最相似，直接用$LL^{o}$恢復。利用VDSR網路思想，網路學習$LL^{gt}$和$LL^{o}$的殘差。損失函式如下：

 　　其中$LL^{r}$為$LL^{o}$和網路的輸出。重構網路為LSE網路。

訓練細節：

 　　網路的訓練以學習率1e-3,SGD優化演算法（動量為0.9，衰減因子1e-4），梯度裁剪完成。

第二部分：重構$LH^{r}$, $HL^{r}$, $HH^{r}$

　　拿$LH^{r}$舉例，用$LH^{o}$和$LH^{p}$融合得到$LH^{r}$.考慮到$LH^{p}$中的小波係數內容比$LH^{o}$的豐富，非0係數更多，期望將$LH^{p}$中的細節小波係數變換到$LH^{o}$中，因此將$LH^{p}$作為風格輸入(style input)，$LH^{o}$作為內容輸入(content input)。不同於傳統的風格遷移演算法——輸入是畫素值，這裡的輸入小波係數，因此首先將小波係數歸一化到0-1（值減去最小值，再除以最大值）

　　損失函式有三個：content loss($L_c$), style loss($L_s$)和$L_1$範數損失（保持重構小波係數的稀疏性）。如下：

 　其中

 　　這裡實際上是基於預訓練的VGG作為WDST網路，只有一個引數是可訓練的，那就是$LH^{r}$.

訓練細節：用的L-BFGS優化演算法.$\alpha=1e-3, \omega=0.2, \beta=1, \gamma=1e-5$

實驗結果

　　定量結果（PSNR/NRQM）：

 　　定性結果：

對比實驗：

1、考慮不同小波分解產生的影響：

根據實驗可以看出，用不同小波分解對實驗結果影響不大。

 2、不同高頻子帶重構，對最終的影響

 可以看出三個高頻子帶都有貢獻，相比於$LH, HL$,$HH$的貢獻最小，因為$HH$為對角方向資訊，不如$LH, HL$他們攜帶的資訊多。

相關連結http://openaccess.thecvf.com/content_ICCV_2019/papers/Deng_Wavelet_Domain_Style_Transfer_for_an_Effective_Perception-Distortion_Tradeoff_in_ICCV_2019_paper