(NIPS2020)Unfolding the Alternating Optimization for Blind Super Resolution

https://github.com/greatlog/DAN.git

一、建模

現有盲超分方法大多基於以下退化模型：

為解決這個模型，一般先進行去噪，剩下的就是解決模糊核估計和超分問題：

為解決這個優化問題呢，一般又將該問題分成兩步迭代求解：

但是這個解決方案有幾個問題：1）這兩步是分開處理的，需要多個模型，訓練麻煩；2）對於模糊核的估計只利用了觀測值y，缺少來自x的資訊的話，難以精確估計；3）之前的有些方法訓練SR模型時將真實kernel作為輸入，但是測試時使用的是估計的kernel，這個不匹配帶來嚴重問題。為此，作者提出如下迭代方案：

分別用一個kernel Estimator和超分Restorer網路解決上式的兩個子問題，然後將這兩步統一到一個模型裡進行端到端的迭代優化求解：

具體而言，這裡總共迭代了4步，也就是有4個Estimator和Restorer。且這四個網路模組分別引數共享來實現迭代，估計的模糊核也只用在最後一次迭代後進行監督。

二、實現細節

網路中的兩個模組都有兩個輸入。估計器以LR和SR影象為輸入，恢復器以LR影象和模糊核為輸入。將LR影象定義為基本輸入，另一個定義為條件輸入。例如，模糊核是恢復器的條件輸入。在迭代過程中，兩個模組的基本輸入保持不變，但它們的條件輸入會重複更新。作者認為保持每個模組的輸出與其條件輸入密切相關是非常重要的。否則，迭代結果將發生mode collapse。具體而言，就是無論輸入什麼樣的SR影象，估計器都輸出相同的模糊核，或者恢復器輸出相同的SR影象而不考慮模糊核的值，則它們的輸出只依賴於基本輸入，並且在迭代過程中結果保持不變。為解決這個問題，作者提出了條件殘差模組（CRB）：

Estimator和Restorer均採用這個模組作為基本單元，Estimator包含5個CRB，基本輸入和條件輸入的通道數是32，Restorer包含40個CRB，基本輸入是64通道，條件輸入是10通道。

三、實驗

包含兩套實驗配置，第一個是針對各向同性高斯模糊核，核大小固定為21。第二套配置是針對不規則模糊核