1. 程式人生 > >25.減少可避免的偏差方法 翻譯自 吳恩達新書-Machine Learning Yearning

25.減少可避免的偏差方法 翻譯自 吳恩達新書-Machine Learning Yearning

如果你的學習演算法中的可避免偏差很高,你可以嘗試使用下面的⽅法:

  • 增加模型規模(比如神經元/層的數量):這個方法可以減少偏差,因為這樣可以使得你的模型可以更好的擬合當前的訓練集。如果你發現使用這個方法時方差增加了,那就使用正則化,這⼀做法通常會抑制方差的上升。
  • 基於誤差分析修改輸入特徵:如果說你的誤差分析告訴你要建立更多的特徵來幫助演算法減少某⼀特定種類的錯誤(我們會在下⼀章討論)。這些新的特徵應該在偏差和方差方面都可以幫助你。理論上來說,增加更多的特徵會相應增加方差;如果你遇到這種情況,就使用正則化,來抑制方差的增長。
  • 減少或去除正則化(L2正則化,L1正則化,dropout):這會減少可避免偏差,但是會增加方差。
  • 修改模型架構(比如神經網路架構):使得你的模型更加適合於你的問題,這個方法會對偏差和方差都造成影響。

有⼀種方法對減少偏差不會多大幫助:

  • 加⼊更多訓練資料:這種方法對方差問題有幫助,但是通常無法解決偏差的問題。