斯坦福大學公開課機器學習: advice for applying machine learning | deciding what to try next(revisited)(針對高偏差、高方差問題的解決方法以及隱藏層數的選擇)
阿新 • • 發佈:2018-01-14
ice 簡單 pos .com img 想要 技術 分割 就是
針對高偏差、高方差問題的解決方法:
1、解決高方差問題的方案:增大訓練樣本量、縮小特征量、增大lambda值
2、解決高偏差問題的方案:增大特征量、增加多項式特征(比如x1*x2,x1的平方等等)、減少lambda值
隱藏層數的選擇對於擬合效果的影響:
隱藏層數過少,神經網絡簡單,參數少,容易出現欠擬合;
隱藏層數過多,神經網絡復雜,參數多,容易出現過擬合,同時計算量也龐大。
事實上,如果經常應用神經網絡,特別是大型神經網絡的話,會發現越大型的網絡性能越好,如果發生了過擬合,可以使用正則化的方法來修正過擬合。使用一個大型的神經網絡,並使用正則化來修正過擬合問題,通常比使用一個小型的神經網絡效果更好。
最後,我們需要確定隱藏層的層數。默認的情況是使用一個隱藏層是比較合理的選擇,但是如果你想要選擇一個最合適的隱藏層層數,你也可以試試把數據分割為訓練集、驗證集和測試集,然後試試使用一個隱藏層的神經網絡來訓練模型。然後試試兩個、三個隱藏層,以此類推。然後看看哪個神經網絡在交叉驗證集上表現得最理想。也就是說你得到了三個神經網絡模型,分別有一個、兩個、三個隱藏層。然後你對每一個模型,都用交叉驗證集數據進行測試,算出三種情況下的交叉驗證集誤差Jcv,然後選出你認為最好的神經網絡結構。
斯坦福大學公開課機器學習: advice for applying machine learning | deciding what to try next(revisited)(針對高偏差、高方差問題的解決方法以及隱藏層數的選擇)