Dropout: A Simple Way to Prevent Neural Networks from Overfitting

來填坑了，上次讀了《Deep Learning under Privileged Information Using Heteroscedastic Dropout》這篇論文（筆記看這裡），感覺有很多東西還沒弄懂，原論文也多次提到了這篇文章，今天來拜讀一下（貌似Gaussian Dropout就是在這裡被首先提出來的）。這篇文章很長，實驗部分就不多講了，重點看看作者對於Dropout的理解和認識。

Abstract

深層神經網路是非常強大的機器學習系統。然而，在這樣的網路中，過擬合是一個嚴重的問題。大型網路的使用速度也較慢，這使得在測試時結合許多不同的大型神經網路的預測來處理過擬合問題變得非常棘手。Dropout是解決這個問題的一種技巧。關鍵的想法是在訓練過程中，從神經網路中隨機丟棄神經元(以及它們的連線)。這就防止了神經元之間過度的協同適應。在訓練過程中，dropout技巧會從指數級的的不同的“稀疏”網路中抽取樣本。在測試時，就可以很容易地估計出所有這些稀疏網路的預測結果的平均。這顯著地減少了過擬合，並且比其他正則化方法有了很大的改進。我們證明，drop改進了神經網路在視覺、語音識別、文件分類和計算生物學等監督學習任務上的效能，獲得了許多基準資料集state-of-the-art結果。

關鍵詞：neural networks, regularization, model combination, deep learning

Introduction

深度神經網路深層的結構讓他們有很強的學習能力。然而，在訓練資料有限的情況下，這些複雜的關係有許多是取樣噪聲的結果，因此它們將存在於訓練集中，而不存在於真實的測試資料中，即使它們來自相同的分佈（就是說在訓練集資料少的情況下，深層的網路會把噪聲造成的輸入輸出之間複雜的關係也完美擬合，使其不再具有好的泛化能力）。解決方法主要有：提前終止、L1和L2正則化、軟權重共享（soft weight sharing）。

不考慮計算的成本，對於固定尺寸的模型來說，最好的正則化策略就根據訓練資料的後驗概率大小加權平均所有的可能的引數。但對於較複雜的網路，這種方法計算量太大了。所以作者採用另一種對指數數量級的共享引數的網路的進行平均策略。

組合不同的大型網路是最好的方法，但是卻不可行，一方面沒有那麼多資料去訓練，訓練那麼多網路很耗時，找到合適的超參也很難，同時在測試時響應速度會很慢。

圖1介紹了Dropout的用法，通常dropout率$p$可以通過驗證集確定，或者設為0.5（這樣產生的可能情況是最多的），但是輸入層的dropout率要接近1。

使用了Dropout技巧，如果一個網路有$n$個神經元，那麼就有$2^n$種子網路結構可能出現，但是由於權值都是共享的，所以引數還是$O(n^2)$數量級的。

測試時，直接用子網路輸出結果的平均不是可行的 ，但使用子網路權值的加權平均構成新的網路卻可以表現很好。為了讓這個組合的網路輸出的期望和真實的期望相同，那麼在子網路組合時，應該將權值都乘以dropout率$p$

Motivation

Dropout的動機來自於關於性別在進化中的作用的理論。有性生殖包括從一個親本和另一個親本中提取一半的基因，加入非常少量的隨機突變，並將它們結合產生受精卵。無性繁殖是通過父母基因的拷貝中加入微小突變來創造後代。無性繁殖應該是一種更好的方法來優化個體的健康，這似乎是合理的，因為一組良好的基因組合在一起可以直接傳遞給後代。另一方面，有性生殖很可能會破壞這些共同適應的基因，特別是如果這些基因的數量很大，而且直覺上，這應該會降低已經進化出複雜的共同適應的生物體的適應性。然而，有性繁殖是最先進的生物進化的方式。

對有性生殖優勢的一種可能解釋是，從長期來看，自然選擇的標準可能不是個體特性，而是基因的混合能力。就是說那些能夠和更多隨機的基因協作的基因才是更加健壯的。因此一些基因必須要自己學會做一些事而不只是跟很多其他基因合作，這種合作會減少個體適應性。類似地，隨機的選擇dropout可以增加隱層神經元的健壯性。

有個密切相關但卻略有不同的例子，十個陰謀，每個五人蔘與和一個大陰謀五十人蔘與相比，顯然前者獲得一次成功概率較大。一個複雜的共同協作的網路在訓練集表現會很出色，但到測試集中，出現了很多新的資料，他就不如很多個更為簡單的協作神經元工作的效果好。

Related Work

Dropout可以被解釋為一種通過在隱藏的單元中新增噪聲來調節神經網路的方法。Vincent et al.(2008, 2010)曾在去噪自動編碼器(DAEs)的背景下，將噪聲新增到自動編碼器的輸入單元中，並訓練網路重構無噪聲輸入。作者的工作擴充套件了這一思想，展示了dropout可以有效地應用到隱藏層中，並且它可以被解釋為一種模型平均的形式。作者還表明，增加噪聲不僅對無監督特徵學習有用，而且可以擴充套件到有監督學習問題。事實上，我們的方法可以應用於其他基於神經的架構，例如，Boltzmann機器。雖然5%的噪聲通常對DAEs最有效，但我們發現我們在測試時應用的加權縮放程式使我們能夠使用更高的噪聲級別。放棄20%的輸入單元和50%的隱藏單元通常是最優的。

由於dropout可以看作是一種隨機正則化技術，因此很自然地要考慮它的確定性對應物，而確定性對應物是通過邊緣化噪聲得到的（就是把和dropout效果相同的正則項提取出來）。在本文中，我們證明了，在簡單的情況下，可以用邊緣化的方法提取出來，從而獲得確定性的正則化方法。最近，van der Maaten et al.(2013)也探究了與不同指數族噪音分佈相對應的確定性調節因子，包括輟學者(他們稱之為\blankout noise)。然而，他們將噪聲應用到輸入中，只探索沒有隱藏層的模型。Wang和Manning(2013)提出了一種通過邊緣化dropout噪聲來加速dropout的方法。Chen等人(2012)在去噪自動編碼器的背景下探討了邊緣化問題。

在dropout中，我們隨機地最小化噪聲分佈下的損失函式。這可以看作是最小化期望損失函式。Globerson and Roweis (2006);Dekel et al.(2010)研究了另一種情況，即當對手選擇放棄哪個unit時，損失最小化。在這裡，可以刪除的單元的最大數量不是噪聲分佈，而是被取消的。然而，這項工作也沒有探究隱藏單元的模型。

Model Description

Dropout技巧很簡單，可由以下公式描述：

其中$\textbf r^{(l)}$表示一個由多個獨立的服從相同伯努利分佈的變數構成的向量，$*$表示點乘，即對應元素相乘，第$l$層的輸出$\textbf y^{(l)}$經過dropout變為$\widetilde {\textbf y}^{(l)}$。$l+1$層的輸入和輸出演算法不變。在應用BP進行訓練時，只對子網路的引數求導即可，測試時子網路的引數需要被縮放：$W^{(l)}_{test}=pW^{(l)}$。如圖二所示。

Learning Dropout Nets

這一節介紹dropout的網路是如何訓練的。

Backpropagation

帶dropout的神經網路和普通神經網路訓練起來差不多，唯一的區別就是在一個mini-batch中引數的更新只發生在子網路中，那些被dropout遮蔽的網路神經元引數都不會被更新。那些用來改善SGD效果的演算法，比如：momentum、退火法、L2正則化在有dropout的情況下也都適用。

另一種對於dropout很有用的策略是將每層隱層權重的模的大小限制為$c$（感覺類似於L2正則化）。這樣可以限制引數在learning rate很大的情況下不至於blowing up。

Unsupervised Pretraining

Dropout如果用在預訓練的網路上，需要先把權值乘以$1/p$，learning rate儘量選小一點，不然會抹去預訓練時學到的資訊。

Experimental Results

作者在不同型別的很多資料集上做了實驗，具體資料集情況見下表1，得到的實驗結果均證明dropout的有效性。

具體的實驗結果有興趣的話可以到原論文裡檢視。

Salient Features

這一節為了探究dropout為啥有效，探究了以下幾個方面：dropout對特徵產生的影響；對隱層神經元啟用值稀疏性的影響；dropout率、神經網路規模和訓練集規模大小對dropout效果的影響。

Effect on Features

圖7是擁有256個修正線性單元的一層隱層的自編碼器在MNIST上的訓練結果，很明顯地看出，左邊沒有dropout的情況下，每個單元並沒有很明確地要去檢測某個影象特徵，這是由於單元之間的相互適應性太強，需要組合在一起才能比較好地工作，但是就右圖有dropout的情況而言很明顯可以看出，每個單元都在檢測一種邊緣、筆畫或者點，也就是說每個單元之間沒有那麼強的相互適應性。泛化能力會強很多。

Effect on Sparsity

圖8展示了dropout對隱層啟用值稀疏性的影響，可以看出加入了dropout以後啟用值的分佈向0靠近，稀疏性明顯增加。

Effect of Dropout Rate

這一小節探究dropout率（神經元保留率）對效果的影響。作者從下面兩種情況進行比較：

1. 隱層神經元個數固定（$n$ fixed）。
2. 在經過了dropout後被保留的神經元期望是恆定的（$pn$ fixed）.

結果如圖9所示，值得注意的是，如果保持$pn$不變，那麼在$p$很小時，誤差要比保持$p$不變時小很多。兩種情況下，都是在0.5左右得到最小的測試誤差。（我感覺這個實驗這樣縱向對比不是很合理）

Effect of Data Set Size

這個結果很有意思，在訓練資料極小的情況下，即使加了dropout也不會使訓練效果變好，因為資料集太小時，就算加了dropout網路還是有足夠多的引數使結果過擬合，這個很好理解。

Monte-Carlo Model Averaging vs. Weight Scaling

在測試時需要把子網路組合起來，使用文中提到的Monte-Carlo Model Averaging模型，當取樣的$k$很大時，效果很好，但是很耗時，直接使用前面提到的Weight Scaling，即把子網路權值按照dropout率縮放後組合的方式更有效率。

Dropout Restricted Boltzmann Machines

這裡把dropout技巧用在了受限波爾茨曼機，挖個坑等學了RBM再來感受一下。

Marginalizing Dropout

這一小節作者將dropout隨機的部分邊緣化，使dropout的效果邊緣化到損失函式，使其成為一種“確定性”的模型。

Linear Regression

把dropout應用到最簡單的線性迴歸，即僅在輸入$X \in \mathbb{R}^{N \times D}$的基礎上點乘$R \in \{0, 1\}^{N \times D}$的Bernoulli矩陣，那麼優化問題就會由：
$\min \limits_{\textbf w}~~~~~~~~ \left \| \textbf y-X\textbf w \right \|^2$
變為：

化簡後：

其中：

或者還可以寫成：

其中：

這個式子的格式有沒有很是熟悉。

Logistic Regression and Deep Networks

這裡作者也沒給出具體的說明。

Multiplicative Gaussian Noise

這裡作者討論了將Bernoulli隨機數改為Gaussian隨機數的效果，在Bernoulli情況下如果單元保留的概率為$p$，那麼方差為$(1-p)/p$，在Gaussian的情況下將方差也設為$(1-p)/p$，得到的實驗結果如下表10，對於這樣的結果，作者解釋為，Gaussian的情況下熵要高一些。

Conclusion

總結的展望中作者主要談了dropout加速問題，由於隨機捨棄掉一些單元會使得引數的更新很“noisy”，解決辦法可以是找到一個有相同效果的正則項來代替dropout。