一、在瞭解正則化之前，先引入一個概念“過擬合”

定義

給定一個假設空間H，一個假設h屬於H，如果存在其他的假設h’屬於H,使得在訓練樣例上h的錯誤率比h’小，但在整個例項分佈上h’比h的錯誤率小，那麼就說假設h過度擬合訓練資料。

也就是說 一個假設在訓練資料上能夠獲得比其他假設更好的擬合， 但是在訓練資料外的資料（試驗集）集上卻不能很好地擬合數據，此時認為這個假設出現了過擬合的現象。出現這種現象的主要原因是訓練資料中存在噪音或者訓練資料太少。

圖例

例：如圖所示為不同的分類方式。可以看出在a中雖然完全的擬合了樣本資料，但對於b中的測試資料分類準確度很差。而c雖然沒有完全擬合樣本資料，但在d中對於測試資料的分類準確度卻很高。過擬合問題往往是由於訓練資料少等原因造成的。

常見原因

編輯

（1）建模樣本選取有誤，如樣本數量太少，選樣方法錯誤，樣本標籤錯誤等，導致選取的樣本資料不足以代表預定的分類規則；

（2）樣本噪音干擾過大，使得機器將部分噪音認為是特徵從而擾亂了預設的分類規則；

（3）假設的模型無法合理存在，或者說是假設成立的條件實際並不成立；

（4）引數太多，模型複雜度過高；

（5）對於決策樹模型，如果我們對於其生長沒有合理的限制，其自由生長有可能使節點只包含單純的事件資料(event)或非事件資料(no event)，使其雖然可以完美匹配（擬合）訓練資料，但是無法適應其他資料集。

（6）對於神經網路模型：a)對樣本資料可能存在分類決策面不唯一，隨著學習的進行,，

解決方法

編輯

（1）在神經網路模型中，可使用權值衰減的方法，即每次迭代過程中以某個小因子降低每個權值。

（2）選取合適的停止訓練標準，使對機器的訓練在合適的程度；

（3）保留驗證資料集，對訓練成果進行驗證；

（4）獲取額外資料進行交叉驗證；

（5）正則化，即在進行目標函式或代價函式優化時，在目標函式或代價函式後面加上一個正則項，一般有L1正則與L2正則等。

二、正則化

2.1 

L2 regularization（權重衰減）

L2正則化就是在代價函式後面再加上一個正則化項：

C0代表原始的代價函式，後面那一項就是L2正則化項，它是這樣來的：所有引數w的平方的和，除以訓練集的樣本大小n。λ就是正則項係數，權衡正則項與C0項的比重。另外還有一個係數1/2，1/2經常會看到，主要是為了後面求導的結果方便，後面那一項求導會產生一個2，與1/2相乘剛好湊整。

L2正則化項是怎麼避免overfitting的呢？我們推導一下看看，先求導：

可以發現L2正則化項對b的更新沒有影響，但是對於w的更新有影響:

在不使用L2正則化時，求導結果中w前係數為1，現在w前面係數為 1−ηλ/n ，因為η、λ、n都是正的，所以 1−ηλ/n小於1，它的效果是減小w，這也就是權重衰減（weight decay）的由來。當然考慮到後面的導數項，w最終的值可能增大也可能減小。

另外，需要提一下，對於基於mini-batch的隨機梯度下降，w和b更新的公式跟上面給出的有點不同：

對比上面w的更新公式，可以發現後面那一項變了，變成所有導數加和，乘以η再除以m，m是一個mini-batch中樣本的個數。

到目前為止，我們只是解釋了L2正則化項有讓w“變小”的效果，但是還沒解釋為什麼w“變小”可以防止overfitting？一個所謂“顯而易見”的解釋就是：更小的權值w，從某種意義上說，表示網路的複雜度更低，對資料的擬合剛剛好（這個法則也叫做奧卡姆剃刀），而在實際應用中，也驗證了這一點，L2正則化的效果往往好於未經正則化的效果。當然，對於很多人（包括我）來說，這個解釋似乎不那麼顯而易見，所以這裡新增一個稍微數學一點的解釋（引自知乎）：

過擬合的時候，擬合函式的係數往往非常大，為什麼？如下圖所示，過擬合，就是擬合函式需要顧忌每一個點，最終形成的擬合函式波動很大。在某些很小的區間裡，函式值的變化很劇烈。這就意味著函式在某些小區間裡的導數值（絕對值）非常大，由於自變數值可大可小，所以只有係數足夠大，才能保證導數值很大。

而正則化是通過約束引數的範數使其不要太大，所以可以在一定程度上減少過擬合情況。

L1 regularization

在原始的代價函式後面加上一個L1正則化項，即所有權重w的絕對值的和，乘以λ/n（這裡不像L2正則化項那樣，需要再乘以1/2，具體原因上面已經說過。）

同樣先計算導數：

上式中sgn(w)表示w的符號。那麼權重w的更新規則為：

比原始的更新規則多出了η * λ * sgn(w)/n這一項。當w為正時，更新後的w變小。當w為負時，更新後的w變大——因此它的效果就是讓w往0靠，使網路中的權重儘可能為0，也就相當於減小了網路複雜度，防止過擬合。

另外，上面沒有提到一個問題，當w為0時怎麼辦？當w等於0時，|W|是不可導的，所以我們只能按照原始的未經正則化的方法去更新w，這就相當於去掉η*λ*sgn(w)/n這一項，所以我們可以規定sgn(0)=0，這樣就把w=0的情況也統一進來了。（在程式設計的時候，令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1）

具體到DNN

Dropout

L1、L2正則化是通過修改代價函式來實現的，而Dropout則是通過修改神經網路本身來實現的，它是在訓練網路時用的一種技巧（trike）。它的流程如下：

假設我們要訓練上圖這個網路，在訓練開始時，我們隨機地“刪除”一半的隱層單元，視它們為不存在，得到如下的網路：

保持輸入輸出層不變，按照BP演算法更新上圖神經網路中的權值（虛線連線的單元不更新，因為它們被“臨時刪除”了）。

以上就是一次迭代的過程，在第二次迭代中，也用同樣的方法，只不過這次刪除的那一半隱層單元，跟上一次刪除掉的肯定是不一樣的，因為我們每一次迭代都是“隨機”地去刪掉一半。第三次、第四次……都是這樣，直至訓練結束。

以上就是Dropout，它為什麼有助於防止過擬合呢？可以簡單地這樣解釋，運用了dropout的訓練過程，相當於訓練了很多個只有半數隱層單元的神經網路（後面簡稱為“半數網路”），每一個這樣的半數網路，都可以給出一個分類結果，這些結果有的是正確的，有的是錯誤的。隨著訓練的進行，大部分半數網路都可以給出正確的分類結果，那麼少數的錯誤分類結果就不會對最終結果造成大的影響。

更加深入地理解，可以看看Hinton和Alex兩牛2012的論文《ImageNet Classification with Deep Convolutional Neural Networks》

資料集擴增（data augmentation）

“有時候不是因為演算法好贏了，而是因為擁有更多的資料才贏了。”

不記得原話是哪位大牛說的了，hinton？從中可見訓練資料有多麼重要，特別是在深度學習方法中，更多的訓練資料，意味著可以用更深的網路，訓練出更好的模型。

既然這樣，收集更多的資料不就行啦？如果能夠收集更多可以用的資料，當然好。但是很多時候，收集更多的資料意味著需要耗費更多的人力物力，有弄過人工標註的同學就知道，效率特別低，簡直是粗活。

所以，可以在原始資料上做些改動，得到更多的資料，以圖片資料集舉例，可以做各種變換，如：

• 將原始圖片旋轉一個小角度

• 新增隨機噪聲

• 一些有彈性的畸變（elastic distortions），論文《Best practices for convolutional neural networks applied to visual document analysis》對MNIST做了各種變種擴增。

• 擷取（crop）原始圖片的一部分。比如DeepID中，從一副人臉圖中，截取出了100個小patch作為訓練資料，極大地增加了資料集。感興趣的可以看《Deep learning face representation from predicting 10,000 classes》.

  更多資料意味著什麼？

用50000個MNIST的樣本訓練SVM得出的accuracy94.48%，用5000個MNIST的樣本訓練NN得出accuracy為93.24%，所以更多的資料可以使演算法表現得更好。在機器學習中，演算法本身並不能決出勝負，不能武斷地說這些演算法誰優誰劣，因為資料對演算法效能的影響很大。