1. 程式人生 > >啟用函式ReLU、Leaky ReLU、PReLU和RReLU

啟用函式ReLU、Leaky ReLU、PReLU和RReLU

sigmoid和tanh是“飽和啟用函式”,而ReLU及其變體則是“非飽和啟用函式”。使用“非飽和啟用函式”的優勢在於兩點:
    1.首先,“非飽和啟用函式”能解決所謂的“梯度消失”問題。
    2.其次,它能加快收斂速度。
    Sigmoid函式需要一個實值輸入壓縮至[0,1]的範圍
    σ(x) = 1 / (1 + exp(−x))
    tanh函式需要講一個實值輸入壓縮至 [-1, 1]的範圍
    tanh(x) = 2σ(2x) − 1
ReLU
    ReLU函式代表的的是“修正線性單元”,它是帶有卷積影象的輸入x的最大函式(x,o)。ReLU函式將矩陣x內所有負值都設為零,其餘的值不變。ReLU函式的計算是在卷積之後進行的,因此它與tanh函式和sigmoid函式一樣,同屬於“非線性啟用函式”。這一內容是由Geoff Hinton首次提出的。
ELUs


    ELUs是“指數線性單元”,它試圖將啟用函式的平均值接近零,從而加快學習的速度。同時,它還能通過正值的標識來避免梯度消失的問題。根據一些研究,ELUs分類精確度是高於ReLUs的。下面是關於ELU細節資訊的詳細介紹:

    

Leaky ReLUs
    ReLU是將所有的負值都設為零,相反,Leaky ReLU是給所有負值賦予一個非零斜率。Leaky ReLU啟用函式是在聲學模型(2013)中首次提出的。以數學的方式我們可以表示為:

    ai是(1,+∞)區間內的固定引數。

引數化修正線性單元(PReLU)
    PReLU可以看作是Leaky ReLU的一個變體。在PReLU中,負值部分的斜率是根據資料來定的,而非預先定義的。作者稱,在ImageNet分類(2015,Russakovsky等)上,PReLU是超越人類分類水平的關鍵所在。
隨機糾正線性單元(RReLU)


    “隨機糾正線性單元”RReLU也是Leaky ReLU的一個變體。在RReLU中,負值的斜率在訓練中是隨機的,在之後的測試中就變成了固定的了。RReLU的亮點在於,在訓練環節中,aji是從一個均勻的分佈U(I,u)中隨機抽取的數值。形式上來說,我們能得到以下結果:

    

總結
    下圖是ReLU、Leaky ReLU、PReLU和RReLU的比較:

    

    PReLU中的ai是根據資料變化的;

    Leaky ReLU中的ai是固定的;

    RReLU中的aji是一個在一個給定的範圍內隨機抽取的值,這個值在測試環節就會固定下來。

 轉載:http://i.ifeng.com/lady/vnzq/news?m=1&aid=124686188&mid=2EjJF3&all=1&p=2