深度學習小知識點：（欠擬合與過擬合）

1.出現欠擬合應該怎樣解決：（欠擬合就是模型沒能很好的捕捉到數據的特征，不能很好地擬合數據）

欠擬合的情況如圖所示：

a.增加特征項，出現欠擬合的原因一般是特征項不夠造成的，只有增加更多的特征，網絡才能學習到數據中更多的信息，一般的可以描述特征的包括“上下文特征”，“位置特征”等一些其它的特征。在日常的工作中，可以從其它的任務那得到靈感，模仿其它的工作中所用的特征項，然後把這個特征項用在自己的任務中，說不定會有提升。

b.添加多項式特征。例如上圖，此時擬合的函數是一個一次的函數，我們可以添加一個二次項和一個三次項，使擬合曲線變為下圖所示的這樣，提升模型的泛化能力。

c.減少正則化參數。因為一般防止過擬合就會增加正則化參數。所以現在欠擬合就應該減少正則化參數。

2.出現過擬合應該怎樣解決：（過擬合是指模型為了把訓練集中的數據每個都劃分正確，學習到了噪聲數據的特征。）

過擬合的情況如圖所示：

a.清洗數據。造成過擬合的原因有可能是訓練數據中混入了噪聲數據，所以對數據進行重新清洗，可能會緩解過擬合的現象。

b.增大數據的訓練量。過擬合很可能是由於數據數量過少造成的，難以學到有用的特征，反而學到了噪聲數據的特征，所以可能增大數據量。

c.采用正則化。正則化方法包括L0,L1,L2正則化，L2正則化又被稱為權值衰減（weight_decay），正則一般是在目標函數後加範數，，，

d.采用dropout.dropout是指在訓練的時候隨機讓某些神經元暫時不工作。

吳恩達：深度學習作業2相關