啟用函式ReLU、Leaky ReLU、PReLU和RReLU
sigmoid和tanh是“飽和啟用函式”，而ReLU及其變體則是“非飽和啟用函式”。使用“非飽和啟用函式”的優勢在於兩點：
1.首先，“非飽和啟用函式”能解決所謂的“梯度消失”問題。
2.其次，它能加快收斂速度。
Sigmoid函式需要一個實值輸入壓縮至[0,1]的範圍
σ(x) = 1 / (1 + exp(−x))
tanh函式需要講一個實值輸入壓縮至 [-1, 1]的範圍
tanh(x) = 2σ(2x) − 1
ReLU
ReLU函式代表的的是“修正線性單元”，它是帶有卷積影象的輸入x的最大函式(x,o)。ReLU函式將矩陣x內所有負值都設為零，其餘的值不變。ReLU函式的計算是在卷積之後進行的，因此它與tanh函式和sigmoid函式一樣，同屬於“非線性啟用函式”。這一內容是由Geoff Hinton首次提出的。
ELUs
ELUs是“指數線性單元”，它試圖將啟用函式的平均值接近零，從而加快學習的速度。同時，它還能通過正值的標識來避免梯度消失的問題。根據一些研究，ELUs分類精確度是高於ReLUs的。下面是關於ELU細節資訊的詳細介紹：
Leaky ReLUs
ReLU是將所有的負值都設為零，相反，Leaky ReLU是給所有負值賦予一個非零斜率。Leaky ReLU啟用函式是在聲學模型（2013）中首次提出的。以數學的方式我們可以表示為：
ai是（1，+∞）區間內的固定引數。引數化修正線性單元（PReLU）
PReLU可以看作是Leaky ReLU的一個變體。在PReLU中，負值部分的斜率是根據資料來定的，而非預先定義的。作者稱，在ImageNet分類（2015，Russakovsky等）上，PReLU是超越人類分類水平的關鍵所在。
隨機糾正線性單元（RReLU）
“隨機糾正線性單元”RReLU也是Leaky ReLU的一個變體。在RReLU中，負值的斜率在訓練中是隨機的，在之後的測試中就變成了固定的了。RReLU的亮點在於，在訓練環節中，aji是從一個均勻的分佈U(I,u)中隨機抽取的數值。形式上來說，我們能得到以下結果：
總結
下圖是ReLU、Leaky ReLU、PReLU和RReLU的比較：
PReLU中的ai是根據資料變化的；
Leaky ReLU中的ai是固定的；
RReLU中的aji是一個在一個給定的範圍內隨機抽取的值，這個值在測試環節就會固定下來。
轉載：http://i.ifeng.com/lady/vnzq/news?m=1&aid=124686188&mid=2EjJF3&all=1&p=2