1. 程式人生 > >CNN訓練 雜談

CNN訓練 雜談

PReLU的a是學習得到,RReLU的a是隨機取樣變換。在測試中是固定。

 

 

   PCA白化的一個缺點是會增加資料中的噪聲,因為它把輸入資料的所有維度都延伸到相同的大小,這些維度中就包含噪音維度(往往表現為不相關的且方差較小)。這種缺點在實際操作中可以通過把1e-5增大到一個更大的值來引入更強的平滑。