Self2Self With Dropout: Learning Self-Supervised Denoising From Single Image【使用單張影象進行自監督學習去噪】
文章目錄
Self2Self With Dropout: Learning Self-Supervised Denoising From Single Image【使用單張影象進行自監督學習去噪】
Yuhui Quan, Mingqin Chen, Tongyao Pang and Hui Ji
一、相關概念
首先來回顧下機器學習中兩種基本的學習正規化，一種是監督學習，一種是無監督學習（林軒田課程中把機器學習正規化分為監督學習、半監督學習、無監督學習以及強化學習）
1.1 監督學習（Supervised learning）
監督學習利用大量的標註資料來訓練模型
1.2 無監督學習（Unsupervised learning）
無監督學習不依賴任何標籤值，通過對資料內在特徵的挖掘，找到樣本間的關係，比如聚類相關的任務。
無監督學習中被廣泛採用的方式是自動編碼器（autoencoder）。
有監督和無監督最主要的區別在於模型在訓練時是否需要人工標註的標籤資訊。
1.3 自監督學習（Self-Supervised learning）
自監督學習主要是利用輔助任務（pretext）從大規模的無監督資料中挖掘自身的監督資訊，通過這種構造的監督資訊對網路進行訓練，從而可以學習到對下游任務有價值的表徵。（也就是說自監督學習的監督資訊不是人工標註的，而是演算法在大規模無監督資料中自動構造監督資訊，來進行監督學習或訓練。因此，大多數時候，我們稱之為無監督預訓練方法或無監督學習方法，嚴格上講，他應該叫自監督學習）
對於自監督學習來說，存在三個挑戰：
- 對於大量的無標籤資料，如何進行表徵/表示學習？
- 從資料的本身出發，如何設計有效的輔助任務 pretext？
- 對於自監督學習到的表徵，如何來評測它的有效性？
二、研究概述
2.1 研究背景
在過去的幾年裡，有監督的深度學習已經成為影象去噪的一個強大工具，它使用外部資料集的噪聲/乾淨影象對來訓練去噪網路。
最近，有一些工作，可以使用一組外部資料集的噪聲影象來訓練去噪網路。
2.2 研究現狀與問題
使用外部資料集的噪聲/乾淨影象對來訓練去噪網路的缺陷如下：
- 不適用於有高質量資料集需求的情況
- 收集大量有用的乾淨/噪音影象對是代價昂貴和困難的
使用一組外部資料集的噪聲影象來訓練去噪網路的缺陷如下：
- 為了獲得良好的效能，用於訓練的外部影象應該在影象內容和噪聲統計方面與正在處理的噪聲影象高度相關。 收集這些外部影象在實踐中可能是昂貴的或具有挑戰性的
因此，開發一種對訓練樣本沒有先決條件的強大的去噪神經網路具有重要的價值，即去噪網路僅在輸入影象本身上學習。但是目前沒有令人滿意的解決方案。
2.3 研究內容
本文提出了僅使用單張輸入資料集的噪聲影象進行訓練的自監督學習方法，因此該方法的資料集收集是沒有上文提到的先決條件的。
首先，因為只使用了單張噪聲影象，所以進行影象增廣來擴大資料集是必要的。因此，選擇對輸入影象進行伯努利取樣得到一些例項；
由於輸入資料集的驟減，會引起過擬合問題和方差暴增問題，因此本文使用基於Dropout的整合方案來解決該問題，即 dropout-based ensemble
之後將增廣後的訓練資料集輸入去噪網路中進行自監督學習式訓練，具體如何進行自監督學習訓練，可看“3.3 訓練方案”章節。
2.4 研究結論
廣泛的實驗表明，使用本文所提出的 Self2Self 自監督學習方案訓練的去噪神經網路的效能比其他基於非學習的去噪器和單影象學習的去噪器要好得多。 它甚至接近那些基於大量資料集的深度學習方法。
消融實驗表面，本文使用的dropout、ensemble、伯努利取樣、部分卷積，都對去噪網路的效果有著或多或少的影響。
三、研究方法
3.1 模型
模型使用的是基於編碼-解碼器的架構，模型如下：
說明：
編碼器部分：
輸入影象：H × W × C；
1、編碼器首先將影象對映到具有部分卷積(PConv)層：H×W×48
2、6個編碼器塊處理（EBs）
3、前5個編碼器快由Pconv、LRelu、MaX Pooling層組成，第6個沒有MaX Pooling層。通道數固定為48
輸出影象：H/32 × W/32 × 48
解碼器部分：
輸入影象：H/32 × W/32 × 48
解碼器包含五個解碼器塊(DBs)，其中，前4個解碼器塊由上取樣層、級聯操作、兩個標準卷積層、LReLu層組成；最後1個解碼器塊包含三個具有LReLu的DropOut卷積層，用於將特徵立方體映射回大小為H×W×C的影象
輸出影象：輸出影象：H × W × C
3.2 伯努利取樣
伯努利取樣：假設y為原影象，y^為取樣結果，且影象的畫素點滿足伯努利分佈，即非0即1（非噪聲即乾淨），因此指定取樣概率p（本文使用的概率p為0.3），對影象進行隨機取樣，最終會使得部分畫素值置為0，其餘畫素值保持不變。
具體的取樣方案如下：
其中bm是二元伯努利矩陣，即由0或1構成的矩陣。將其與原影象y進行點積運算，即可得到取樣結果y^。此外需要注意，需要使用 （1 - bm）與原影象進行點積來計算一個變數 y-，這個y-與取樣結果相比是完全相反的，即置為0的畫素點恢復原值，未被置0的畫素點置為0。
這個 y- 在損失函式中會使用到。
3.3 訓練方案
本文的訓練方案的核心是損失函式的設計。
開篇提到，自監督學習與監督學習的區別在於自監督學習是從無監督資料中挖掘自身的監督資訊。
深度學習方法的損失函式一般是衡量預測值和真實值之間的誤差，但是在這篇文章的情況下，是不存在真實值的，也就是沒有直接存在的監督資訊，需要我們自己去挖掘。因此，本文使用剛才提到的 y- 來作為監督資訊，代替真實值。
因此，損失函式為：
此外，本文提出，上述損失函式的設計與使用真實值的損失函式是有很強的相關性的，特別是有很多的資料集被用於訓練時。
注意，為了進一步改進，還通過水平、垂直和對角線翻轉輸入影象等傳統的影象增廣方式來實現影象增廣（資料增強）。
3.4 去噪方案
從訓練的NN中使用DropOut生成多個NN。再將影象y輸入到這多個NN中，分別得到不同的恢復影象，進行平均，得到最終結果x*
四、研究結果
這篇文章分別在三個不同去噪任務上進行了實驗：分別是盲高斯去噪、真實世界噪聲影象去噪和鹽尖噪聲去除。
部分引數設定：
- 卷積核大小為3×3；
- 步長為1，長度為2的零填充；
- 每個LRELU的超引數設定為0.1；
- DropOut概率設定為0.3；
- 伯努利抽樣的概率設為0.3；
- 學習率初始化為10−5；
- 訓練次數：4.5×105個訓練
- 在測試期間，使用DropOut 50 次來生成最終結果。
衡量指標：
- PSNR(dB)：峰值信噪比，一種評價影象的客觀標準。原影象與被處理影象之間的均方誤差相對於(2n-1)2的對數值。PSNR值越大，就代表失真越少。
- SSIM(1.00E-1)：結構相似性，是一種衡量兩幅影象相似度的指標。當兩張影象一模一樣時，SSIM的值等於1。
研究結果如下：
4.1 盲高斯去噪
實驗結果：
DnCNN是BSD68中的表現最好的方法。
本文的方法比用無組織訓練樣本訓練的N2V和N2S效能要好得多。 一個原因可能是無組織的訓練樣本沒有為正在處理的噪聲影象提供準確的真相資訊；它可能會在神經網路中引入誤導性的無關特徵。
本文的方法在許多情況下甚至優於N2N和DnCNN，儘管它們是在帶有配對樣本的資料集上訓練的，而本文的方法僅用單個噪聲影象進行訓練
4.2 真實世界噪聲影象去噪
實驗結果：
除了CDnCNN外，本文方法明顯優於其他基於深度學習的方法，無論是基於單個影象的方法還是基於資料集的方法。
注意：
我們的定量結果非常接近CDnCNN，在一些影象上，我們的結果甚至更好。
我們取得優異結果的原因可能是訓練樣本的內容相當多樣化。
4.3 鹽尖去噪
實驗結果：顯著優於CSC、DIP
4.4 消融實驗
實驗說明：
- dropout：訓練時不使用dropout，其餘引數維持不變
- ensemble：測試時不使用dropout，其餘引數維持不變
- sampling：不使用伯努利取樣，其餘引數維持不變
- PConv：不使用部分卷積而是用全卷積，其餘引數維持不變
實驗結果：
由此可見，dropout、ensemble、伯努利取樣、部分卷積都對最終的模型效果有著或多或少的影響。
五、展望
廣泛的實驗表明，使用本文所提出的 Self2Self 自監督學習方案訓練的去噪神經網路的效能比其他基於非學習的去噪器和單影象學習的去噪器要好得多。 它甚至接近那些基於大量資料集的深度學習方法。 本文的研究結果有助於進一步研究影象恢復中的自監督學習技術