定義

定義：給定一個假設空間H，一個假設h屬於H，如果存在其他的假設h’屬於H,使得在訓練樣例上h的錯誤率比h’小，但在整個例項分佈上h’比h的錯誤率小，那麼就說假設h過度擬合訓練資料。 ———《Machine Learning》Tom M.Mitchell

出現過擬合的原因

1.  訓練集的數量級和模型的複雜度不匹配。訓練集的數量級要小於模型的複雜度；

2.  訓練集和測試集特徵分佈不一致；

3.  樣本里的噪音資料干擾過大，大到模型過分記住了噪音特徵，反而忽略了真實的輸入輸出間的關係；

4.  權值學習迭代次數足夠多(Overtraining)，擬合了訓練資料中的噪聲和訓練樣例中沒有代表性的特徵。

解決方案

（simpler model structure、 data augmentation、 regularization、 dropout、early stopping、ensemble、重新清洗資料）

1.  simpler model structure

調小模型複雜度，使其適合自己訓練集的數量級（縮小寬度和減小深度）

2.   data augmentation

訓練集越多，過擬合的概率越小。在計算機視覺領域中，增廣的方式是對影象旋轉，縮放，剪下，新增噪聲等。

3.  regularization

引數太多，會導致我們的模型複雜度上升，容易過擬合，也就是我們的訓練誤差會很小。 正則化是指通過引入額外新資訊來解決機器學習中過擬合問題的一種方法。這種額外資訊通常的形式是模型複雜性帶來的懲罰度。 

a）L0範數與L1範數

L0範數是指向量中非0的元素的個數。如果我們用L0範數來規則化一個引數矩陣W的話，就是希望W的大部分元素都是0即讓引數W是稀疏的。 
L1範數是指向量中各個元素絕對值之和，也叫“稀疏規則運算元”（Lasso regularization）。為什麼L1範數會使權值稀疏？有人可能會這樣給你回答“它是L0範數的最優凸近似”。實際上，還存在一個更美的回答：任何的規則化運算元，如果他在Wi=0的地方不可微，並且可以分解為一個“求和”的形式，那麼這個規則化運算元就可以實現稀疏。W的L1範數是絕對值，|w|在w=0處是不可微， 
為什麼L0和L1都可以實現稀疏，但常用的為L1？

b）L2範數

除了L1範數，還有一種更受寵幸的規則化範數是L2範數: ||W||2。它也不遜於L1範數，它有兩個美稱，在迴歸裡面，有人把有它的迴歸叫“嶺迴歸”（Ridge Regression），有人也叫它“權值衰減”(weight decay)。 weight decay還有一個好處，它使得目標函式變為凸函式，梯度下降法和L-BFGS都能收斂到全域性最優解。 
L2範數是指向量各元素的平方和然後求平方根。我們讓L2範數的規則項||W||2最小，可以使得W的每個元素都很小，都接近於0，但與L1範數不同，它不會讓它等於0，而是接近於0。因為一般認為引數值小的模型比較簡單，能適應不同的資料集，也在一定程度上避免了過擬合現象。可以設想一下對於一個線性迴歸方程，若引數很大，那麼只要資料偏移一點點，就會對結果造成很大的影響；但如果引數足夠小，資料偏移得多一點也不會對結果造成什麼影響，專業一點的說法是『抗擾動能力強』。

4、 dropout

這個方法在神經網路裡面很常用。dropout方法是ImageNet中提出的一種方法，通俗一點講就是dropout方法在訓練的時候讓神經元以一定的概率不工作。具體看下圖：

如上圖所示，左邊a圖是沒用用dropout方法的標準神經網路，右邊b圖是在訓練過程中使用了dropout方法的神經網路，即在訓練時候以一定的概率p來跳過一定的神經元。

5、 early stopping

    對模型進行訓練的過程即是對模型的引數進行學習更新的過程，這個引數學習的過程往往會用到一些迭代方法，如梯度下降（Gradient descent）學習演算法。Early stopping便是一種迭代次數截斷的方法來防止過擬合的方法，即在模型對訓練資料集迭代收斂之前停止迭代來防止過擬合。 
  Early stopping方法的具體做法是，在每一個Epoch結束時（一個Epoch集為對所有的訓練資料的一輪遍歷）計算validation data的accuracy，當accuracy不再提高時，就停止訓練。這種做法很符合直觀感受，因為accurary都不再提高了，在繼續訓練也是無益的，只會提高訓練的時間。那麼該做法的一個重點便是怎樣才認為validation accurary不再提高了呢？並不是說validation accuracy一降下來便認為不再提高了，因為可能經過這個Epoch後，accuracy降低了，但是隨後的Epoch又讓accuracy又上去了，所以不能根據一兩次的連續降低就判斷不再提高。一般的做法是，在訓練的過程中，記錄到目前為止最好的validation accuracy，當連續10次Epoch（或者更多次）沒達到最佳accuracy時，則可以認為accuracy不再提高了。此時便可以停止迭代了（Early Stopping）。這種策略也稱為“No-improvement-in-n”，n即Epoch的次數，可以根據實際情況取，如10、20、30……

6、 ensemble

7、重新清洗資料

資料清洗從名字上也看的出就是把“髒”的“洗掉”，指發現並糾正資料檔案中可識別的錯誤的最後一道程式，包括檢查資料一致性，處理無效值和缺失值等。導致過擬合的一個原因也有可能是資料不純導致的，如果出現了過擬合就需要我們重新清洗資料。