2. 程式人生 > >誰擋了我的神經網路？（三）—— 啟用函式

誰擋了我的神經網路？（三）—— 啟用函式

阿新 • • 發佈：2018-11-06

誰擋了我的神經網路？（三）—— 啟用函式

這一系列文章介紹了在神經網路的設計和訓練過程中，可能提升網路效果的一些小技巧。前文介紹了在訓練過程中的一系列經驗，這篇文章將重點關注其中的啟用函式部分。更新於2018.11.1。

文章目錄

介紹

啟用函式（activation function）是指放在層與層之間，使得網路的輸出控制在某一個範圍內的函式，也稱作傳遞函式（transfer function）。這些函式通常是非線性的，正是因為這些函式的存在，才使得神經網路能夠描述非線性變換。否則，無論多少層卷積層等線性變換的疊加，都相當於一層非常寬的線性變換層的結果。

比較常用的啟用函式有：

在這裡插入圖片描述

目前最常用的啟用函式是ReLU系列，因為其不容易造成梯度消失等問題。所以，對於損失函式，除非有特殊需求，通常都採取ReLU系列的啟用函式。具體應用的種類，可以直接藉助各種深度學習庫中提供的現有函式，比如Caffe中提供的就是Leaky ReLU，但是當其中的引數設定成0的時候，其就會退化成普通的ReLU了。

至於其他種類的啟用函式，博主認為，對於應用神經網路的人而言，除非有特殊需求，否則暫時沒有必要深究。當然，如果在日後的研究過程中博主有了不同的看法，會回來更新的，這個也只是博主的一個建議，大家有選擇地看。

參考文獻

  1. 比較古老的一篇，從數學角度的解釋：
    https://papers.nips.cc/paper/874-how-to-choose-an-activation-function.pdf
  2. 有視訊演示：https://engmrk.com/activation-function-for-dnn/

相關推薦

誰擋了我的神經網路？（三）—— 啟用函式

誰擋了我的神經網路？（三）—— 啟用函式 這一系列文章介紹了在神經網路的設計和訓練過程中，可能提升網路效果的一些小技巧。前文介紹了在訓練過程中的一系列經驗，這篇文章將重點關注其中的啟用函式部分。更新於2018.11.1。 文章目錄 誰擋了我的神經網路？（三）

神經網路（三） 反向傳播直觀理解

oid 得到 文本分類 默認 img 自己 src 模型 com 這是典型的三層神經網絡的基本構成，Layer L1是輸入層，Layer L2是隱含層，Layer L3是隱含層，我們現在手裏有一堆數據{x1,x2,x3,...,xn},輸出也是一堆數據{y1,y2,y3,.

搭建簡單圖片分類的卷積神經網路（三）-- 模型的測試和運用

兩個功能都在同一個檔案中 一、新建Disimage.py檔案 import tensorflow as tf from PIL import Image import os import numpy as np import matplotlib.pyplot as plt from Get

神經網路（三）：神經網路

一、 神經元到神經網路 在之前的文章中（《神經網路（一）》和《神經網路（二）》），我們討論瞭如何為神經元搭建模型。雖然搭建模型的過程並不複雜，但得到的神經元模型也沒有太多的新意，比如使用sigmoid函式作為啟用函式，則得到的神經元模型就是邏輯迴歸。 在人體中

【機器學習】動手寫一個全連線神經網路（三）：分類

我們來用python寫一個沒有正則化的分類神經網路。 傳統的分類方法有聚類，LR邏輯迴歸，傳統SVM，LSSVM等。其中LR和svm都是二分類器，可以將多個LR或者svm組合起來，做成多分類器。 多分類神經網路使用softmax+cross entropy組

MatConvNet卷積神經網路（三）【影象滑動窗】

利用滑動窗搜尋影象中的特定內容 Matconvnet官方給出的神經網路分類器imagenet-googleNet-dag.mat已經具備了較強的識別能力，能識別1000種標籤。利用它再編寫一個滑動窗

卷積神經網路（三）：權值初始化方法之Xavier與MSRA

基礎知識 首先介紹一下Xavier等初始化方法比直接用高斯分佈進行初始化W的優勢所在： 一般的神經網路在前向傳播時神經元輸出值的方差會不斷增大,而使用Xavier等方法理論上可以保證每層神經元輸入輸出方差一致。 這裡先介紹一個方差相乘的公式，以便理解Xav

卷積神經網路（三）：卷積神經網路CNN的簡單實現（部分Python原始碼）

上週末利用python簡單實現了一個卷積神經網路，只包含一個卷積層和一個maxpooling層，pooling層後面的多層神經網路採用了softmax形式的輸出。實驗輸入仍然採用MNIST影象使用10個feature map時，卷積和pooling的結果分別如下所示。

誰擋了我的神經網路？（二）—— 優化演算法

誰擋了我的神經網路？（二）—— 優化演算法 這一系列文章介紹了在神經網路的設計和訓練過程中，可能提升網路效果的一些小技巧。前文介紹了在訓練過程中的一系列經驗，這篇文章將重點關注其中的優化演算法部分。更新於2018.11.1。 文章目錄 誰擋了我的神經網路？（

誰擋了我的神經網路？（一）—— 如何在訓練中得到更好的結果

誰擋了我的神經網路？（一）—— 如何在訓練中得到更好的結果 博主最近在嘗試訓練自己新設計的神經網路，但是網路收斂到的損失並不讓人滿意。於是，博主決定在這裡記錄下在嘗試讓網路收斂得更好的過程中，成功與失敗的經驗（包括實驗）。這一系列會隨著博主研究的不斷深入，有選擇地更新。本文更新於20

卷積神經網路（CNN）之一維卷積、二維卷積、三維卷積詳解

由於計算機視覺的大紅大紫，二維卷積的用處範圍最廣。因此本文首先介紹二維卷積，之後再介紹一維卷積與三維卷積的具體流程，並描述其各自的具體應用。 1. 二維卷積 圖中的輸入的資料維度為14×1414×14，過濾器大小為5×55×5，二者做卷積，輸出的資料維度為10×1

人生苦短，我用Python（三）—通過Python實現網路裝置指定指標的收集與指標的圖形化展示

寫在前面: 博主自2018年8月底開始，堅持每週更新一篇技術類部落格，含本篇文章在內，目前已經更新了八篇文章。除十一假期外，堅持每週更新。希望自己能堅持下去。 目前已經開啟了三個系列的文章，分別是： 《人生苦短，我用Python》——已釋出三篇文章 《那些你應該知道的

深度神經網路（DNN）是否模擬了人類大腦皮層結構？

原文地址：https://www.zhihu.com/question/59800121/answer/184888043   神經元   在深度學習領域，神經元是最底層的單元，如果用感知機的模型， wx + b, 加上一個啟用函式構成了全部，輸入和輸出都是數字，研究的比較清楚。別

機器學習之貝葉斯網路（三）

引言 　　貝葉斯網路是機器學習中非常經典的演算法之一，它能夠根據已知的條件來估算出不確定的知識，應用範圍非常的廣泛。貝葉斯網路以貝葉斯公式為理論接觸構建成了一個有向無環圖，我們可以通過貝葉斯網路構建的圖清晰的根據已有資訊預測未來資訊。貝葉斯網路適用於表達和分析不確定性和概率性的事件，應用於有條件地依賴多種控

卷積神經網路（CNN）在語音識別中的應用

卷積神經網路（CNN）在語音識別中的應用 作者：侯藝馨 前言 總結目前語音識別的發展現狀，dnn、rnn/lstm和cnn算是語音識別中幾個比較主流的方向。2012年，微軟鄧力和俞棟老師將前饋神經網路FFDNN（Feed Forward Deep Neural Network）引入到聲學模

從迴圈神經網路（RNN）到LSTM網路

　　通常，資料的存在形式有語音、文字、影象、視訊等。因為我的研究方向主要是影象識別，所以很少用有“記憶性”的深度網路。懷著對迴圈神經網路的興趣，在看懂了有關它的理論後，我又看了Github上提供的tensorflow實現，覺得收穫很大，故在這裡把我的理解記錄下來，也希望對大家能有所幫助。

卷積神經網路（CNN）_相關知識

斯坦福公開課 CS231n Convolutional Neural Networks for Visual Recognition ： http://cs231n.stanford.edu/syllabus.html 網路引數初始化：https://www.cnblogs.com/yinheyi

卷積神經網路（CNN）一之概念原理

　　什麼是卷積神經網路呢？這個的確是比較難搞懂的概念，特別是一聽到神經網路，大家腦海中第一個就會想到複雜的生物學，讓人不寒而慄，那麼複雜啊．卷積神經網路是做什麼用的呢？它到底是一個什麼東東呢？ 卷積神經網路的靈感源一種生物程序，其中神經元之間的聯結模式和動物視覺皮層組織非常相似。所以發明者把它叫做卷積神經網

機器學習之迴圈神經網路（十）

摘要：        多層反饋RNN（Recurrent neural Network、迴圈神經網路）神經網路是一種節點定向連線成環的人工神經網路。這種網路的內部狀態可以展示動態時序行為。不同於前饋神經網路的是，RNN可以利用它內部的記憶來處理任意時序的輸入序列，這讓

機器學習之卷積神經網路（九）

摘要： 　　卷積神經網路（Convolutional Neural Network,CNN）是一種前饋神經網路，它的人工神經元可以響應一部分覆蓋範圍內的周圍單元，對於大型影象處理有出色表現。 引言： 　　在傳統的機器學習中，通常是我們自己來尋找特徵，而深度學習中我們通過神經網路來自主的學習特診。在大量資