2. 程式人生 > >TensorFlow實踐（10）——卷積神經網路模型LeNet5

TensorFlow實踐（10）——卷積神經網路模型LeNet5

阿新 • • 發佈：2018-12-20

（一）前 言

卷積神經網路（Convoltional Neural Networks, CNN）是一類包含卷積或相關計算且具有深度結構的前饋神經網路（Feedforward Neural Networks），是深度學習（deep learning）的代表演算法之一 。由於卷積神經網路能夠進行平移不變分類（shift-invariant classification），因此在文獻中也被稱為“平移不變人工神經網路（Shift-Invariant Artificial Neural Networks, SIANN）” 。卷積神經網路仿造生物的視知覺（visual perception）機制構建，可以進行監督學習和非監督學習，其隱含層內的卷積引數共享和層間連線的稀疏性使得卷積神經網路能夠以較小的計算量對格點化（grid-like topology）特徵，例如畫素和音訊進行學習、有穩定的效果且對資料沒有額外的特徵工程（feature engineering）要求 。對卷積神經網路的研究始於二十世紀80至90年代，時間延遲網路和LeNet-5是最早被證實有效的卷積神經網路演算法；在二十一世紀後，隨著數值計算裝置的改進，卷積神經網路得到了快速發展，並被大量應用於計算機視覺、自然語言處理等領域。 ——引用自百度百科

本節我們要使用TensorFlow實現LeNet5模型，這是一個非常經典的卷機模型，它的結構圖如下所示： 在這裡插入圖片描述 LeNet5模型一共包含兩個卷積層、兩個池化層和一個全連線層。

（二）問題描述

使用卷積神經網路識別MNIST手寫體數字資料集： 在這裡插入圖片描述

（三）LeNet5模型的TensorFlow實現

（1）模型引數設定

# 設定學習率
learning_rate = 0.01
# 設定訓練次數
train_steps = 1000

（2）匯入資料

import tensorflow.examples.tutorials.mnist.input_data as input_data
mnist = input_data.
 
read_data_sets('', one_hot = True)

（3）定義相關函式

# 定義卷積層
def conv(input, filter_shape, bias_shape, strides_shape):
    filter = tf.get_variable("filter", filter_shape, initializer= tf.truncated_normal_initializer())
    bias = tf.get_variable("bias", bias_shape, initializer= tf.truncated_normal_initializer(
 
))
    conv = tf.nn.conv2d(input, filter, strides= strides_shape, padding= 'SAME')
    output = tf.nn.sigmoid(conv + bias)
    return output

# 定義池化層
def pooling(input, ksize_shape, strides_shape):
    output = tf.nn.max_pool(input, ksize= ksize_shape, strides= strides_shape, padding = 'SAME')
    return output

# 定義全連線層
def connection(input, weight_shape, bias_shape, flat_shape):
    weight = tf.get_variable("weight", weight_shape, initializer= tf.truncated_normal_initializer())
    bias = tf.get_variable("bias", bias_shape, initializer= tf.truncated_normal_initializer())

    flat = tf.reshape(input, flat_shape)
    output = tf.nn.sigmoid(tf.matmul(flat, weight) + bias)
    return output

（4）模型構建

with tf.name_scope('Input'):
    x_data = tf.placeholder(tf.float32, [None, 784])
    y_data = tf.placeholder(tf.float32, [None, 10])
    x_image = tf.reshape(x_data, [-1, 28, 28, 1])

with tf.variable_scope('Conv1'):
    conv1_output = conv(x_image, [5, 5, 1, 6], [6], [1, 1, 1, 1])

with tf.variable_scope('Pooling1'):
    pooling1_output = pooling(conv1_output, [1, 2, 2, 1], [1, 2, 2, 1])

with tf.variable_scope('Conv2'):
    conv2_output = conv(pooling1_output, [5, 5, 6, 16], [16], [1, 1, 1, 1])

with tf.variable_scope('Pooling2'):
    pooling2_output = pooling(conv2_output, [1, 2, 2, 1], [1, 2, 2, 1])

with tf.variable_scope('Conv3'):
    conv3_output = conv(pooling2_output, [5, 5, 16, 120], [120], [1, 1, 1, 1])

with tf.variable_scope('Connection'):
    connection_output = connection(conv3_output, [7*7*120, 80], [80], [-1, 7*7*120])

with tf.name_scope('Output'):
    weight = tf.Variable( tf.truncated_normal([80, 10]),dtype= tf.float32)
    bias = tf.Variable(tf.truncated_normal([10]),dtype= tf.float32)
    y_model = tf.nn.softmax(tf.add(tf.matmul(connection_output, weight), bias))

（5）定義損失函式和訓練精度

# 使用交叉熵作為損失函式
with tf.name_scope('Loss'):
    loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(labels = y_model, logits = y_data))
    tf.summary.scalar('The variation of the loss', loss)
    
with tf.name_scope('Accuracy'):
    prediction = tf.equal(tf.argmax(y_model, 1), tf.argmax(y_data, 1))
    accuracy = tf.reduce_mean(tf.cast(prediction, tf.float32))
    tf.summary.scalar('The variation of the accuracy', accuracy)

（6）選擇優化器及定義訓練操作

# 此處選擇Adam優化器
with tf.name_scope('Train'):
    train_op = tf.train.AdamOptimizer(learning_rate).minimize(loss)

（7）建立會話進行訓練

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    x_batch, y_batch = mnist.train.next_batch(50)
    writer = tf.summary.FileWriter("logs/", sess.graph)
    merged = tf.summary.merge_all()
    batch_x, batch_y = mnist.train.next_batch(200)
    a = []
    for _ in range(train_steps):
        sess.run(train_op, feed_dict={x_data: batch_x, y_data: batch_y})
        if _ % 50 == 0:
            print(sess.run(accuracy, feed_dict={x_data: mnist.test.images, y_data: mnist.test.labels}))
            summary, acc = sess.run([merged, accuracy],
                                    feed_dict={x_data: mnist.test.images, y_data: mnist.test.labels})
            a.append(acc)
            writer.add_summary(summary, _)
    writer.close()

    plt.plot(a)
    plt.title('The variation of the acuracy')
    plt.xlabel('The sampling point')
    plt.ylabel('Accuracy')
    plt.tight_layout()
    plt.show()
    plt.savefig('mnist_cnn_acc.png', dpi = 200)

（8）完整程式碼

import tensorflow as tf
import matplotlib.pyplot as plt
import time
from tensorflow.examples.tutorials.mnist import input_data

# 設定學習率
learning_rate = 0.01
# 設定訓練次數
train_steps = 1000

# 定義卷積層
def conv(input, filter_shape, bias_shape, strides_shape):
    filter = tf.get_variable("filter", filter_shape, initializer= tf.truncated_normal_initializer())
    bias = tf.get_variable("bias", bias_shape, initializer= tf.truncated_normal_initializer())
    conv = tf.nn.conv2d(input, filter, strides= strides_shape, padding= 'SAME')
    output = tf.nn.sigmoid(conv + bias)
    return output

# define the pooling layer
def pooling(input, ksize_shape, strides_shape):
    output = tf.nn.max_pool(input, ksize= ksize_shape, strides= strides_shape, padding = 'SAME')
    return output

# define the connection layer
def connection(input, weight_shape, bias_shape, flat_shape):
    weight = tf.get_variable("weight", weight_shape, initializer= tf.truncated_normal_initializer())
    bias = tf.get_variable("bias", bias_shape, initializer= tf.truncated_normal_initializer())

    flat = tf.reshape(input, flat_shape)
    output = tf.nn.sigmoid(tf.matmul(flat, weight) + bias)
    return output

mnist = input_data.read_data_sets('C:/Users/12394/PycharmProjects/Machine Learning/MNIST_data', one_hot = True)

with tf.name_scope('Input'):
    x_data = tf.placeholder(tf.float32, [None, 784])
    y_data = tf.placeholder(tf.float32, [None, 10])
    x_image = tf.reshape(x_data, [-1, 28, 28, 1])

with tf.variable_scope('Conv1'):
    conv1_output = conv(x_image, [5, 5, 1, 6], [6], [1, 1, 1, 1])

with tf.variable_scope('Pooling1'):
    pooling1_output = pooling(conv1_output, [1, 2, 2, 1], [1, 2, 2, 1])

with tf.variable_scope('Conv2'):
    conv2_output = conv(pooling1_output, [5, 5, 6, 16], [16], [1, 1, 1, 1])

with tf.variable_scope('Pooling2'):
    pooling2_output = pooling(conv2_output, [1, 2, 2, 1], [1, 2, 2, 1])

with tf.variable_scope('Conv3'):
    conv3_output = conv(pooling2_output, [5, 5, 16, 120], [120], [1, 1, 1, 1])

with tf.variable_scope('Connection'):
    connection_output = connection(conv3_output, [7*7*120, 80], [80], [-1, 7*7*120])

with tf.name_scope('Output'):
    weight = tf.Variable( tf.truncated_normal([80, 10]),dtype= tf.float32)
    bias = tf.Variable(tf.truncated_normal([10]),dtype= tf.float32)
    y_model = tf.nn.softmax(tf.add(tf.matmul(connection_output, weight), bias))

with tf.name_scope('Loss'):
    loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(labels = y_model, logits = y_data))
    tf.summary.scalar('The variation of the loss', loss)

with tf.name_scope('Accuracy'):
    prediction = tf.equal(tf.argmax(y_model, 1), tf.argmax(y_data, 1))
    accuracy = tf.reduce_mean(tf.cast(prediction, tf.float32))
    tf.summary.scalar('The variation of the accuracy', accuracy)

with tf.name_scope('Train'):
    train_op = tf.train.AdamOptimizer(learning_rate).minimize(loss)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    x_batch, y_batch = mnist.train.next_batch(50)
    writer = tf.summary.FileWriter("logs/", sess.graph)
    merged = tf.summary.merge_all()
    batch_x, batch_y = mnist.train.next_batch(200)
    a = []
    for _ in range(train_steps):
        sess.run(train_op, feed_dict={x_data: batch_x, y_data: batch_y})
        if _ % 50 == 0:
            print(sess.run(accuracy, feed_dict={x_data: mnist.test.images, y_data: mnist.test.labels}))
            summary, acc = sess.run([merged, accuracy],
                                    feed_dict={x_data: mnist.test.images, y_data: mnist.test.labels})
            a.append(acc)
            writer.add_summary(summary, _)
    writer.close()
# 繪製訓練精度變化圖
    plt.plot(a)
    plt.title('The variation of the acuracy')
    plt.xlabel('The sampling point')
    plt.ylabel('Accuracy')
    plt.tight_layout()
    plt.show()
    plt.savefig('mnist_cnn_acc.png', dpi = 200)

（9）Tensorboard視覺化

使用tensorboard讀取訓練日誌，得到如下計算圖： 在這裡插入圖片描述

（四）總 結

本文介紹瞭如何使用TensorFlow建立LeNet5卷積神經網路模型，讀者可通過修改卷積核大小、池化方法、資料批處理數、訓練迭代次數、學習率等因素調整模型，有任何的問題請在評論區留言，我會盡快回復，謝謝支援。

相關推薦

TensorFlow實踐（10）——卷積神經網路模型LeNet5

（一）前 言 卷積神經網路（Convoltional Neural Networks, CNN）是一類包含卷積或相關計算且具有深度結構的前饋神經網路（Feedforward Neural Networks），是深度學習（deep learning）的代表演

斯坦福大學深度學習公開課cs231n學習筆記（10）卷積神經網路

前記：20世紀60年代，Hubel和Wiesel在研究貓腦皮層中用於區域性敏感和方向選擇的神經元時，發現其獨特的網路結構可以有效地降低反饋神經網路的複雜性，繼而提出了卷積神經網路（Convolutio

人工智慧實踐：TensorFlow筆記學習（七）—— 卷積神經網路基礎

大綱7.1 卷積神經網路7.2  lenet5程式碼講解目標掌握卷積神經網路的搭建方法7.1 卷積神經網路全連線 NN：每個神經元與前後相鄰層的每一個神經元都有連線關係，輸入是特徵，輸出為預測的結果。引數個數：（前層X後層+後層）  一張解析度僅僅是28x28的黑白影象，就有

TensorFlow訓練MNIST資料集（3） —— 卷積神經網路

　　前面兩篇隨筆實現的單層神經網路 和多層神經網路， 在MNIST測試集上的正確率分別約為90%和96%。在換用多層神經網路後，正確率已有很大的提升。這次將採用卷積神經網路繼續進行測試。 1、模型基本結構 　　如下圖所示，本次採用的模型共有8層（包含dropout層）。其中卷積層和池化層各有兩層。 　　在

機器學習與深度學習系列連載： 第二部分 深度學習（十）卷積神經網路 1 Convolutional Neural Networks

卷積神經網路 Convolutional Neural Networks 卷積神經網路其實早在80年代，就被神經網路泰斗Lecun 提出[LeNet-5, LeCun 1980]，但是由於當時的資料量、計算力等問題，沒有得到廣泛使用。 卷積神經網路的靈感來自50年代的諾貝爾生物學獎

# [cs231n （九）卷積神經網路 ][1]

標籤（空格分隔）： 神經網路 0.回顧 cs231n （一）影象分類識別講了KNN cs231n （二）講了線性分類器：SVM和SoftMax cs231n （三）優化問題及方法 cs231n （四）反向傳播 cs231n （五）神經網路 part 1:

TensorFlow實踐（9）——普通BP神經網路

（一）前 言 BP(back propagation)神經網路是1986年由Rumelhart和McClelland為首的科學家提出的概念，是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路，是目前應用最廣泛的神經網路。 20世紀80年代中期，David Ru

Deep learning with Theano 官方中文教程（翻譯）（四）—— 卷積神經網路（CNN）

供大家相互交流和學習，本人水平有限，若有各種大小錯誤，還請巨牛大牛小牛微牛們立馬拍磚，這樣才能共同進步！若引用譯文請註明出處http://www.cnblogs.com/charleshuang/。 文章中的程式碼截圖不是很清晰，可以去上面的原文網址去檢視。 1、動機    卷積神經網路（CNN

深度學習（四）卷積神經網路入門學習(1)

卷積神經網路入門學(1)作者：hjimce卷積神經網路演算法是n年前就有的演算法，只是近年來因為深度學習相關演算法為多層網路的訓練提供了新方法，然後現在電腦的計算能力已非當年的那種計算水平，同時現在的訓練資料很多，於是神經網路的相關演算法又重新火了起來，因此卷積神經網路就又活

2017CS231n李飛飛深度視覺識別筆記（五）——卷積神經網路

第五講 卷積神經網路課時1 歷史    在上一章中，我們討論了神經網路的有關知識以及線性評分函式的執行例項，通過堆疊線性層來實現完整的神經網路。    接下來，我們將討論卷積神經網路，以下是1998年L

Coursera吳恩達《卷積神經網路》課程筆記（1）-- 卷積神經網路基礎

《Convolutional Neural Networks》是Andrw Ng深度學習專項課程中的第四門課。這門課主要介紹卷積神經網路（CNN）的基本概念、模型和具體應用。該門課共有4周課時，所以我將分成4次筆記來總結，這是第一節筆記。 1. Compu

深度學習1——深度學習（四）卷積神經網路入門學習(1)

卷積神經網路入門學(1) 轉載自：hjimce的專欄 - 部落格頻道 - CSDN.NET 原文地址：http://blog.csdn.NET/hjimce/article/details/47323463 作者：hjimce 卷積

（CNN）卷積神經網路（四）dropout

第一篇文章介紹了卷積神經網路的資料輸入形式和權值的初始化：CNN）卷積神經網路（一） 第二篇文章介紹了卷積操作，常用的啟用函式（CNN）卷積神經網路（二） 第三篇介紹了卷積神經網路的池化層，視覺化理解以及用數學的角度理解卷積操作：（CNN）卷積神經網路（三)

深度學習進階（五）--卷積神經網路與深度置信網路以及自動編碼初識（補昨天部落格更新）

總結一下昨天的學習過程 （注：這幾天老不在狀態，貌似進入了學習激情的瓶頸期，動力以及平靜心嚴重失控，Python3.X與Python2.X之間的程式碼除錯，尤其是環境配置搞得頭昏腦脹） 昨天瞭解接觸的內容 CNN卷積神經網路的基本原理以及在CPU中測試以及程式碼除錯（又是失

機器學習筆記（四）卷積神經網路CNN

1.前言： 卷積神經網路在計算視覺領域的表現十分出色,與普通的BP神經網路一樣，CNN同樣由神經元組成。其實卷積神經網路是卷積+神經網路，基本上由三部分組成：卷積層，pooling層，全連線層。 2.CNN：卷積層 卷積是一個訊號領域的概念，我們這裡提

deep learning tutorial 翻譯（theano學習指南4（翻譯）- 卷積神經網路 ）

from theano.tensor.nnet import conv rng = numpy.random.RandomState(23455) # instantiate 4D tensor for input input = T.tensor4(name='input') # initializ

深度學習（四）卷積神經網路Lenet-5實現

卷積神經網路Lenet-5實現 作者：hjimce 卷積神經網路演算法是n年前就有的演算法，只是近年來因為深度學習相關演算法為多層網路的訓練提供了新方法，然後現在電腦的計算能力已非當年的那種計算水平，同時現在的訓練資料很多，於是神經網路的相關演算法

Tensorflow學習筆記（第三天）—卷積神經網路

     對CIFAR-10 資料集的分類是機器學習中一個公開的基準測試問題，其任務是對一組大小為32x32的RGB影象進行分類，這些影象涵蓋了10個類別： 飛機， 汽車， 鳥， 貓， 鹿， 狗， 青蛙， 馬， 船以及卡車。

TensorFlow實戰：Chapter-3（CNN-1-卷積神經網路簡介）

卷積神經網路簡介 卷積神經網路(convolutional neural network，CNN)最初是用來解決影象識別等問題設計的，隨著計算機的發展，現在CNN的應用已經非常廣泛了，在自然語言處理(NLP)、醫藥發現、文字處理等等中都有應用。這裡我

tensorflow手冊cifar10.py（alexnet，卷積神經網路）的一些理解

以下只寫一些我花了點時間才理解的東西：       1、卷積tf.nn.conv2d()函式的理解：它其中有第二個引數是[filter_height, filter_width, in_channels, out_channels]。程式碼中第二次卷積，輸入是64,輸出也是6