過擬合出現的原因

• 訓練的資料過少，無法準確獲得資料中的特徵
• 全連線神經網路中引數增多也會導致過擬合問題（還可以導致計算速度減慢）

過擬合解決的辦法

1. data augmentation:

這點不需要解釋太多，所有的過擬合無非就是訓練樣本的缺乏和訓練引數的增加。一般要想獲得更好的模型，需要大量的訓練引數，這也是為什麼CNN網路越來越深的原因之一，而如果訓練樣本缺乏多樣性，那再多的訓練引數也毫無意義，因為這造成了過擬合，訓練的模型泛化能力相應也會很差。大量資料帶來的特徵多樣性有助於充分利用所有的訓練引數。

data augmentation的手段一般有：

• 1）收集更多資料
• 2）對已有資料進行crop，flip，加光照等操作
• 3）利用生成模型（比如GAN）生成一些資料。

2. weight decay：

常用的weight decay有L1和L2正則化，L1較L2能夠獲得更稀疏的引數，但L1零點不可導。在損失函式中，weight decay是放在正則項（regularization）前面的一個係數，正則項一般指示模型的複雜度，所以weight decay的作用是調節模型複雜度對損失函式的影響，若weight decay很大，則複雜的模型損失函式的值也就大。

3.提前終止：

提前停止其實是另一種正則化方法，就是在訓練集和驗證集上，一次迭代之後計算各自的錯誤率，當在驗證集上的錯誤率最小，在沒開始增大之前停止訓練，因為如果接著訓練，訓練集上的錯誤率一般是會繼續減小的，但驗證集上的錯誤率會上升，這就說明模型的泛化能力開始變差了，出現過擬合問題，及時停止能獲得泛化更好的模型。

4.dropout :

CNN訓練過程中使用dropout是在每次訓練過程中隨機將部分神經元的權重置為0，即讓一些神經元失效，這樣可以縮減引數量，避免過擬合，關於dropout為什麼有效，有兩種觀點：
- 1）每次迭代隨機使部分神經元失效使得模型的多樣性增強，獲得了類似多個模型ensemble的效果，避免過擬合
- 2）dropout其實也是一個data augmentation的過程，它導致了稀疏性，使得區域性資料簇差異性更加明顯，這也是其能夠防止過擬合的原因

4.1dropout的具體介紹：

（正在更新）