過擬合：訓練好的神經網路對訓練資料以及驗證資料擬合的很好，accuracy很高，loss很低，但是在測試資料上效果很差，即出現了過擬合現象。

過擬合產生的原因：

（1）資料集有噪聲

（2）訓練資料不足

（3）訓練模型過度導致模型非常複雜

解決方法：

（1）降低模型複雜度（縮小寬度和減小深度）

（2）資料集擴增（平移，旋轉，縮放，剪下，新增噪音）

（3）正則化。

（4）加入droupout，讓神經元以一定的概率不工作。

（5）early stopping

（6）ensemble（整合學習），特徵融合。

泛化能力：訓練好的神經網路模型對不在訓練集中的資料的預測能力。

L2正則化：

        正則化後的損失函式多了一項正則項，為正則化引數，若很大，則損失函式偏向於減小權重的值，若很小，則損失函式偏向於減小原損失函式的數值。

為什麼正則化能夠防止過擬合：

        在神經網路中，正則化網路更傾向於小的權重，在權重小的情況下，資料x隨機的變化不會對神經網路的模型造成太大的影響，所以可能性更小的受到資料區域性噪音的影響。而未加入正則化的神經網路，權重大，容易通過較大的模型改變來適應資料，更容易學習到區域性的噪音。