01 Sigmoid

Sigmoid將輸入對映到[0, 1]，梯度下降明顯，至少減少75%
f(x)=sigmoid(x)=11−e −x  
f ′  (x)=f(x)(1−f(x))) 

02 tahn

tahn將輸入資料對映到[-1, 1]，梯度損失明顯
f(x)=tahn(x)=21+e −2x −1 
f ′  (x)=1−f(x) 2  

03 ReLU

ReLU(Rectified linear unit):正向截斷負值，損失大量特徵；反向梯度沒有損失
f(x)=max(x,0)={0forx<0xforx≥0  
f ′  (x)={0forx<01for

04 Keaky ReLU

Leaky RuLU(Rectified linear unit):正向截斷負值(保留更多引數，少量梯度方向傳播)，損失大量特徵(為什麼還在用？因為特徵足夠多)；反向梯度少量損失；(為什麼不變成y=x？不行，會成為純線性)
f(x)={0.01xforx<0xforx≥0  
f ′  (x)={0.01forx<01forx≥0