1. 程式人生 > >Batch Normalization 與Dropout 的沖突

Batch Normalization 與Dropout 的沖突

.com drop 產生 rop lan 所有 tps 方差 避免

  BN或Dropout單獨使用能加速訓練速度並且避免過擬合

  但是倘若一起使用,會產生負面效果。

  BN在某些情況下會削弱Dropout的效果

  

  對此,BN與Dropout最好不要一起用,若一定要一起用,有2中方法:

    1 在所有BN層後使用Dropout

    2 修改Dropout公式(如使用高斯Dropout)使得它對方差不是那麽敏感

    總體思路是降低方差偏移

reference

  https://zhuanlan.zhihu.com/p/33101420

Batch Normalization 與Dropout 的沖突