文章目錄

• 啟用函式
• 階躍函式
• sigmoid 函式
• ReLU函式
• 三層神經網路的實現
• 神經網路符號含義
• 各層間訊號傳遞的實現
• 三層網路python程式碼實現
• softmax函式
• 手寫數字識別

啟用函式

啟用函式（activation function）：將輸入訊號的總和轉換為輸出訊號。

階躍函式

python程式碼實現：

def step_function(x):
	y = x > 0
	return y.astype(np.int
 
)  

對NumPy陣列進行不等號運算後 ，陣列的各個元素生成一個布林型陣列。
astype()方法轉換NumPy陣列的型別，陣列y的元素型別從布林型轉換為int型。

sigmoid 函式

sigmoid 函式數學公式：
$h\left(x\right)=$

def sigmoid(x):
	return 1 / (1 + np.exp(-x))

ReLU函式

ReLU：Rectified Linear Unit

sigmoid 函式數學公式：
$f(x)=\left\{ \begin{aligned} x & & (x>0)\\ y & & (x<0) \\ \end{aligned} \right.$
python程式碼實現：

def relu(x):
    return np.maximum(0, x)

三層神經網路的實現

3層神經網路：
輸入層（第0 層）有2 個神經元，
第1 個隱藏層（第1 層）有3 個神經元，
第2 個隱藏層（第2 層）有2 個神經元，
輸出層（第3 層）有2 個神經元。

神經網路符號含義

各層間訊號傳遞的實現

神經元“1”表示偏置，其右下角的索引號只有一個。這是因為前一層的偏置神經元（神經元“1”）只有一個。

用數學式表示 $a1^{(1)}$，通過加權訊號和偏置的和按如下方式進行計算
$a1^{(1)}=w11^{(1)}x1+w12^{(1)}x2+b1^{(1)}$ 使用矩陣的乘法運算，則可以將第1層的加權和表示成下面的式子
$A^{(1)}=XW^{(1)}+B^{(1)}$

其中 $A^{(1)}$、 $X$、 $B^{(1)}$、 $W^{(1)}$、如下所示。

$A^{(1)}=\begin{pmatrix}a1^{(1)} & a2^{(1)} & a3^{(1)}\end{pmatrix}$， $X=\begin{pmatrix}x_{1} & x_{2}\end{pmatrix}$， $B^{(1)}=\begin{pmatrix}b1^{(1)} & b2^{(1)} & b3^{(1)}\end{pmatrix}$,

$W^{(1)}=\begin{pmatrix} w_{11}^{(1)} & w_{21}^{(1)} &w_{31}^{(1)} \\ w_{11}^{(1)} & w_{21}^{(1)} &w_{31}^{(1)} \end{pmatrix}$

$a$表示隱藏層的加權和（加權訊號和偏置的總和）
$z$表示啟用函式轉換後的訊號
$h()$ 表示啟用函式，這裡使用sigmoid 函式

這裡使用identity_function()恆等函式作為輸出層的啟用函式，記為 $σ()$。

三層網路python程式碼實現

import numpy as np

def sigmoid(x):
	return 1 / (1 + np.exp(-x))

def identity_function(x):
	return x

def init_network():
	network = {}
	network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])
	network['b1'] = np.array([0.1, 0.2, 0.3])
	network['W2'] = np.array([[0.1, 0.4], [0.2, 0.5] 
 

            
  
           

              
              
            
            
相關推薦
			   
            
            
            
 

    

    
    
CNTK 搞深度學習-1
     
 激活   result   dll   desc   mman   caf   element   有用   成了   CNTK 搞深度學習
Computational Network Toolkit (CNTK) 是微軟出品的開源深度學習工具包。本文介紹CNTK的基本內容，如何寫CNTK的網絡定義語言，以及 

  
 

    

    
    
【讀書1】【2017】MATLAB與深度學習——深度學習(1)
     
  
  
  
 也許不容易理解為什麼只加入額外的一層卻花費了如此長的時間。 
 It may not be easy to understand why ittook so long for just one additional layer. 
 這是因為沒有找到多層神經網路的正確學習規則。 
 It w 

  
 

    

    
    
動手學習深度學習1-4 softmax
     
 
                Softmax 迴歸的從零開始實現



%matplotlib inline
import gluonbook as gb  #要把這個包放在同一個根目錄下
from mxnet import autograd, nd
#============獲取和讀取資料使用 Fash 

  
 

    

    
    
動手學習深度學習1-5 softmax mxnet實現
     
 
                %matplotlib inline
import gluonbook as gb
from mxnet import gluon, init
from mxnet.gluon import loss as gloss, nn
#讀入資料
batch_size = 256
t 

  
 

    

    
    
入門深度學習 — 1
     
 使用 Paperspace 的 GPU 機器前面提到你會需要一臺 GPU 機器，如果手邊沒有的話，可以先用線上的方案，Paperspace 的價格應該會比 AWS 跟 Floydhub 來得便宜。在註冊完 Paperspace 帳號後，選定 ML-In-a-Box template 建立機器，這個 templ 

  
 

    

    
    
深度學習1——深度學習（四）卷積神經網路入門學習(1)
     
 
                

卷積神經網路入門學(1)


轉載自：hjimce的專欄 - 部落格頻道 - CSDN.NET


原文地址：http://blog.csdn.NET/hjimce/article/details/47323463

作者：hjimce


卷積 

  
 

    

    
    
MXnet實戰深度學習1--MXnet的安裝與第一個例子
     
 
								
								            
						
                


Mxnet是一個輕量化分散式可移植深度學習計算平臺，他支援多機多節點、多GPU的計算，其openMP+MPI/SSH+Cuda/Cudnn的框架是的計算速度很快，且能與分散式檔案系統結合實現大資料 

  
 

    

    
    
人工智慧之機器學習與深度學習-1（葉梓老師）
     
  
 
 先來講一些概念： 
   
 術語辨析——資料探勘 
 •資料探勘：資料探勘是從資料中發掘知識的過程，在挖掘資料的過程中需要用到一些挖掘工具和方法。 
 •這些工具可以是基於資料庫的挖掘方法。資料探勘也可以用到機器學習的方法，比如各種分類模型（如：決策樹和SVM）、概率圖模型以及深度學習的 

  
 

    

    
    
深度學習1
     
  
  
  
 
 
  文章目錄
  
   啟用函式
   
    階躍函式
    sigmoid 函式
    ReLU函式
   
   三層神經網路的實現
   
    神經網路符號含義
    各層間訊號傳遞的實現
   
   三層網路python程式碼實現
   softmax函式
  

  
 

    

    
    
Deeplearning.ai吳恩達筆記之神經網路和深度學習1
     
  
 
  
  
 Introduction to Deep Learning 
 What is a neural neural network? 
  
 當對於房價進行預測時，因為我們知道房子價格是不可能會有負數的，因此我們讓面積小於某個值時，價格始終為零。 
 其實對於以上這麼一個預測的模型就可以看 

  
 

    

    
    
斯坦福大學-李菲菲，深度學習1到9講聽課筆記
     
 
                
CS231n
計算機視覺歷史回顧與介紹
第一課時：
  深度神經網路：卷積神經網路
  計算機視覺是跨學科的領域
  NLP 自然語言處理
  生物進化出眼睛
  相機的出現
  基礎視覺皮層(處理視覺)
第二課時：
  通過實驗發現，視覺處理的第一步是對簡單的形狀結構處理 

  
 

    

    
    
深度學習1--機器配置與雙系統安裝
     
 
                
本篇文章主要說明一下本人使用的機器配置及雙系統的安裝。

價格在1W左右。連結不給了以免被說成廣告。
雙系統安裝：
第一步：下載iso

第二步：製作U盤啟動盤
先將U盤進行備份並格式化，然後下載Universal-USB-installer，在step1中選擇Ubuntu 

  
 

    

    
    
淺說深度學習(1)：核心概念
     
 

此為系列首篇，旨在提供直觀簡明的深度學習引導，涵蓋深度學習的基本概念，而不設計很多數學和理論細節。當然如果要做更深入的研究，數學肯定是必不可少的，但是本系列主要還是用圖片和類比等方式，幫助初學者快速建立大局觀。
第一節介紹深度學習的主要概念。第二節交代一些歷史背景，並解釋訓練過程、演算法和實用技巧。第三節 

  
 

    

    
    
吳恩達深度學習1-4課後作業1 Building your Deep Neural Network: Step by Step
     
 

2 - Outline of the Assignment
To build your neural network, you will be implementing several "helper functions". These helper functions will be used i 

  
 

    

    
    
深度學習1-線性迴歸，邏輯迴歸
     
 
                這些天在寫前幾個月學習的三維重建方面的知識的同時，也開始學習著目前比較火的深度學習。學習這個不是跟著潮流，總是在想讀研到底學到了什麼。  我想也就是個自學能力吧。其實感覺自己反而有點不自信了，本科畢業什麼都不擔心，可是現在擔心的越來越多，人也慢慢變得浮躁起來，嗨，不多說了，寫 

  
 

    

    
    
零基礎入門深度學習(1)
     
 
                
深度學習是啥
在人工智慧領域，有一個方法叫機器學習。在機器學習這個方法裡，有一類演算法叫神經網路。神經網路如下圖所示：

上圖中每個圓圈都是一個神經元，每條線表示神經元之間的連線。我們可以看到，上面的神經元被分成了多層，層與層之間的神經元有連線，而層內之間的神經元沒有連線。 

  
 

    

    
    
深度學習1--感知器
     
 
                # -*- coding: utf-8 -*-
"""
Created on Thu Apr 12 18:01:30 2018

@author: SS
"""

'''
and 感知器的實現 
用到的函式 包括：
初始化： __init__
列印：__str__
預測：pr 

  
 

    

    
    
深度學習(1)——sae(稀疏自動編碼機)
     
 
								            
						
                
http://wenku.baidu.com/link?url=efPArsCGR0YGHn5RqMIzGil6ySsNVtNeRog8ybCWxK7oIOZ7bOX-GmuoqmDJ3dR6fn3_cv3OpOEWk 

  
 

    

    
    
深度學習入門1
     
 ont   gin   語音識別   告訴   min   重要   orf   模型   獲得   發布這個系列，一來是為了總結自己的學習，二來也是希望給深度學習初學者一些入門的指導。好廢話不多說了，我們直接進入主題，這一節先說一下，深度學習發展歷程。

1958，感知器（相當於生物的神經元）
1969，M 

  
 

    

    
    
深度學習遙感影像分類(1)_數據集批量準備
     
 func   文件夾   cnn   images   r+   驗證   fop   label   read   近年來，深度學習在遙感影像地物分類中取得了一系列顯著的效果。CNN可以很好的獲取影像紋理信息，捕捉像素與像素之間的空間特征，因此，一個訓練好的深度學習模型在地物提取中具有很大的優勢。但模型的訓