2. 程式人生 > >神經網絡的雙曲線正切激活函數

神經網絡的雙曲線正切激活函數

阿新 • • 發佈：2019-03-12
圖像 edi 曲線 入門到精通 幽默 pan views 線圖 l數據庫

分享一下我老師大神的人工智能教程吧。零基礎！通俗易懂！風趣幽默！還帶黃段子！希望你也加入到我們人工智能的隊伍中來！http://www.captainbed.net

在數學中，雙曲函數類似於常見的（也叫圓函數的）三角函數。基本雙曲函數是雙曲正弦“sinh”，雙曲余弦“cosh”，從它們導出雙曲正切“tanh”等。也類似於三角函數的推導。反函數是反雙曲正弦“arsinh”（也叫做“arcsinh”或“asinh”）依此類推。

技術分享圖片

y=tanh x，定義域：R，值域：(-1,1)，奇函數，函數圖像為過原點並且穿越Ⅰ、Ⅲ象限的嚴格單調遞增曲線，其圖像被限制在兩水平漸近線y=1和y=-1之間。

它的導數如下：

技術分享圖片

它的曲線圖：

技術分享圖片

源碼：

#python 3.5.3/TensorFlow 1.0/win 10    
#2017-03-27 蔡軍生  http://blog.csdn.net/caimouse    
#
import pylab
import numpy as np

N = 500
delta = 0.6
X = -1 + 2. * np.arange(N) / (N - 1)
pylab.plot(X, (1.4 + np.tanh(4. * X / delta)) / 4,  ‘k-‘,linewidth = 5)

pylab.show()


它的意義：

第一個問題：為什麽引入非線性激勵函數？
如果不用激勵函數（其實相當於激勵函數是f(x) = x），在這種情況下你每一層輸出都是上層輸入的線性函數，很容易驗證，無論你神經網絡有多少層，輸出都是輸入的線性組合，與沒有隱藏層效果相當，這種情況就是最原始的感知機（Perceptron）了。
正因為上面的原因，我們決定引入非線性函數作為激勵函數，這樣深層神經網絡就有意義了（不再是輸入的線性組合，可以逼近任意函數）。最早的想法是sigmoid函數或者tanh函數，輸出有界，很容易充當下一層輸入（以及一些人的生物解釋balabala）。
第二個問題：為什麽引入Relu呢？
第一，采用sigmoid等函數，算激活函數時（指數運算），計算量大，反向傳播求誤差梯度時，求導涉及除法，計算量相對大，而采用Relu激活函數，整個過程的計算量節省很多。

第二，對於深層網絡，sigmoid函數反向傳播時，很容易就會出現梯度消失的情況（在sigmoid接近飽和區時，變換太緩慢，導數趨於0，這種情況會造成信息丟失，參見 @Haofeng Li 答案的第三點），從而無法完成深層網絡的訓練。
第三，Relu會使一部分神經元的輸出為0，這樣就造成了網絡的稀疏性，並且減少了參數的相互依存關系，緩解了過擬合問題的發生（以及一些人的生物解釋balabala）。


當然現在也有一些對relu的改進，比如prelu，random relu等，在不同的數據集上會有一些訓練速度上或者準確率上的改進，具體的大家可以找相關的paper看。
多加一句，現在主流的做法，會在做完relu之後，加一步batch normalization，盡可能保證每一層網絡的輸入具有相同的分布[1]。而最新的paper[2]，他們在加入bypass connection之後，發現改變batch normalization的位置會有更好的效果。大家有興趣可以看下。

1. TensorFlow API攻略

http://edu.csdn.net/course/detail/4495
 2. TensorFlow入門基本教程 http://edu.csdn.net/course/detail/4369

3. C++標準模板庫從入門到精通

http://edu.csdn.net/course/detail/3324

4.跟老菜鳥學C++

http://edu.csdn.net/course/detail/2901

5. 跟老菜鳥學python

http://edu.csdn.net/course/detail/2592

6. 在VC2015裏學會使用tinyxml庫

http://edu.csdn.net/course/detail/2590

7. 在Windows下SVN的版本管理與實戰

http://edu.csdn.net/course/detail/2579

8.Visual Studio 2015開發C++程序的基本使用

http://edu.csdn.net/course/detail/2570

9.在VC2015裏使用protobuf協議

http://edu.csdn.net/course/detail/2582

10.在VC2015裏學會使用MySQL數據庫

http://edu.csdn.net/course/detail/2672

再分享一下我老師大神的人工智能教程吧。零基礎！通俗易懂！風趣幽默！還帶黃段子！希望你也加入到我們人工智能的隊伍中來！http://www.captainbed.net

神經網絡的雙曲線正切激活函數

相關推薦

神經網絡的雙曲線正切激活函數

圖像 edi 曲線 入門到精通 幽默 pan views 線圖 l數據庫 分享一下我老師大神的人工智能教程吧。零基礎！通俗易懂！風趣幽默！還帶黃段子！希望你也加入到我們人工智能的隊伍中來！http://www.captainbed.net 在數學中，雙曲函數類似於常見

嘗試理解神經網絡中的激活函數

使用 相差 輸出 部分 規律 表示 tro 矩陣 識別 激活函數引用：https://www.cnblogs.com/ms-uap/p/9962978.html 首先，單個神經元是長這樣的： 也就是，當A=σ(Z)=Z時，不使用激活函數的話，那麽，單個神經網絡，輸出只

1.4激活函數-帶隱層的神經網絡tf實戰

ima 需要 logs .com horizon optimizer 數量 sid ont 激活函數 激活函數----日常不能用線性方程所概括的東西 左圖是線性方程，右圖是非線性方程 當男生增加到一定程度的時候，喜歡女生的數量不可能無限制增加，更加趨於平穩

神經網絡（六）激活函數

過程 ++ 初始 clas 等價 輸入 通過 height tex 激活函數是用來加入非線性因素的，解決線性模型所不能解決的問題。 激活函數通常有如下一些性質： 非線性： 當激活函數是線性的時候，一個兩層的神經網絡就可以逼近基本上所有的函數了。但是，如果激活函數是恒等

ANN神經網絡——Sigmoid 激活函數編程練習 (Python實現)

poi eight rac inter sce ould error def logistic # ---------- # # There are two functions to finish: # First, in activate(), write th

Tensorflow中神經網絡的激活函數

and ftp panda frame item plt index line 圖片 激勵函數的目的是為了調節權重和誤差。 relu 　　max(0，x) relu6 　　min(max(0，x)，6) sigmoid 　　1/(1+exp(-x))

神經網絡激活函數

this fun clas soft func end open AS introduce # Activation Functions #---------------------------------- # # This function introduces

神經網絡激活函數sigmoid relu tanh 為什麽sigmoid 容易梯度消失

曲線 區別 -c put orien 互斥 dde .net 設置 https://blog.csdn.net/danyhgc/article/details/73850546 什麽是激活函數 為什麽要用 都有什麽 sigmoid ，ReLU， softmax 的比較 如

深度學習激活函數比較

logs 過大 img ima .com 曲線 src pan 貢獻 一、Sigmoid函數 　　1）表達式 　　　　 　　2）函數曲線 　　 　　3）函數缺點 　梯度飽和問題。先看一下反向傳播計算過程： 　　　　　　　　　　反向求導： 　　　　

激活函數和損失函數

ref 常見 tail 問題 機器 學習 art mar 深度學習 深度學習筆記(三)：激活函數和損失函數 損失函數：Hinge Loss（max margin） 機器學習中的常見問題——損失函數激活函數和損失函數

激活函數

測試 加載 分享圖片 過程 分類問題 圖片 alt 得到 如果 神經網絡做的主要事情就是分類，在上課中，最簡單的問題為二分類問題，利用單層感知機，可以畫出一條線將平面隔開分類。同樣如果增加感知機個數，可以得到更強的分類能力，但是無論如何都是一個線性方程。只不過是線性的復雜組

神經網絡（三） softmax函數

關系 bbb 損失函數 幫助 eight 更新 ati gin sum softmax函數 softmax用於多分類過程中，它將多個神經元的輸出，映射到（0,1）區間內，可以看成概率來理解，從而來進行多分類！ 假設我們有一個數組，V，Vi表示V中的第i個元素，那麽這個元素的

激活函數筆記

ima 技術 detail png cto proc .net http shadow sigmod [0,1]tanh [-1,1]relu max(0,x)參考：http://blog.csdn.net/u013146742/article/details/519865

關於幾種激活函數的整理

函數 關於 gpo www details http sdn body .net https://blog.csdn.net/lilu916/article/details/77822309 https://www.zhihu.com/question/29021768

【深度學習】深入理解ReLU(Rectifie Linear Units)激活函數

appdata 稀疏編碼 去掉 ren lock per 作用 開始 href 論文參考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） Part 0：傳統激活函數、腦神經元激活頻率研究、稀疏激活性

激活函數的作用

曲線 說明 index edi mage gpo 知乎 二分 映射 機器學習筆記：形象的解釋神經網絡激活函數的作用是什麽？ 此文轉自知乎，哈工大NLPer 憶臻 原出處：https://zhuanlan.zhihu.com/p/25279356 查閱資料和學習，大家對神

ReLU激活函數的缺點

因此 shu 數學 IV OS 固定 通過 輸入 現在 訓練的時候很”脆弱”，很容易就”die”了，訓練過程該函數不適應較大梯度輸入，因為在參數更新以後，ReLU的神經元不會再有激活的功能，導致梯度永遠都是零。 例如，一個非常大的梯度流過一個 ReLU 神經元，更新過參數之

9.激活函數

close 函數 http flow subplot pyplot import for def #!/usr/bin/env python # -*- coding:utf-8 -*- # author:love_cat import numpy as np impo

聊一聊激活函數

激活 組合 加強 style mar 線性 比較 分享 strong 聊一聊激活函數 https://mp.weixin.qq.com/s/Gm4Zp7RuTyZlRWlrbUktDA Why激活函數？ 引入激活函數是為了引入非線性因素，以此解決線性模型所不能解決的

[轉]激活函數ReLU、Leaky ReLU、PReLU和RReLU

sigmoid width 圖像 需要 geo 同時 eof 分享圖片 pic “激活函數”能分成兩類——“飽和激活函數”和“非飽和激活函數”。 sigmoid和tanh是“飽和激活函數”，而ReLU及其變體則是“非飽和激活函數”。使用“非飽和激活函數”的優勢在於兩點：