1. 程式人生 > >【神經網路】神經元ReLU、Leaky ReLU、PReLU和RReLU的比較

【神經網路】神經元ReLU、Leaky ReLU、PReLU和RReLU的比較

下圖是ReLU、Leaky ReLU、PReLU和RReLU的比較:

    

 

    ReLU,對小於0部分,直接置為0;

    Leaky ReLU,對小於0部分,進行這樣的轉換:y_i=a_i * x_i ,它的a_i是固定的;

    PReLU中的a_i 根據資料變化而變化;

    RReLU中的a_i是一個在一個給定的範圍內隨機抽取的值,這個值在測試環節就會固定下來。