一、前述

本文分享一篇基於數據集cifa10的經典模型架構和代碼。

二、代碼

import tensorflow as tf
import numpy as np
import math
import time
from tutorials.image.cifar10 import cifar10
from tutorials.image.cifar10 import cifar10_input


# 本節使用的數據集是CIFAR-10，這是一個經典的數據集，包含60000張32*32的彩色圖像，其中訓練集50000張，測試集10000張
# 一共標註為10類，每一類圖片6000張。10類分別是 airplane, automobile, bird, cat, deer, dog, frog, horse, ship, truck
 


# 我們載入一些常用庫，比如NumPy和time，並載入TensorFlow Models中自動下載、讀取CIFAR-10數據的類
max_steps = 3000#叠代3000次
batch_size = 128#每次128張圖片
# 下載cifar10數據集的默認路徑
data_dir = ‘D:/cifar10_data/cifar-10-batches-bin‘


def variable_with_weight_losses(shape, stddev, wl):#w1是L1正則中的系數
    # 定義初始化weights的函數，和之前一樣依然使用tf.truncated_normal截斷的正太分布來初始化權值
 

    var = tf.Variable(tf.truncated_normal(shape, stddev=stddev))
    if wl is not None:
        # 給weight加一個L2的loss，相當於做了一個L2的正則化處理
        # 在機器學習中，不管是分類還是回歸任務，都可能因為特征過多而導致過擬合，一般可以通過減少特征或者懲罰不重要特征的權重來緩解這個問題
        # 但是通常我們並不知道該懲罰哪些特征的權重，而正則化就是幫助我們懲罰特征權重的，即特征的權重也會成為模型的損失函數的一部分
        # 我們使用w1來控制L2 loss的大小
 

        weight_loss = tf.multiply(tf.nn.l2_loss(var), wl, name=‘weight_loss‘)
        # 我們使用tf.add_to_collection把weight loss統一存到一個collection，這個collection名為"losses"，它會在後面計算神經網絡
        # 總體loss時被用上
        tf.add_to_collection("losses", weight_loss)
    return var


# 下載cifar10類下載數據集，並解壓，展開到其默認位置
cifar10.maybe_download_and_extract()
# 使用cifar10_input類中的distorted_inputs函數產生訓練需要使用的數據，包括特征及其對應的label，這裏是封裝好的tensor，
# 每次執行都會生成一個batch_size的數量的樣本。需要註意的是這裏對數據進行了Data Augmentation數據增強
# 具體實現細節查看函數，其中數據增強操作包括隨機水平翻轉tf.image.random_flip_left_right()
# 隨機剪切一塊24*24大小的圖片tf.random_crop，隨機設置亮度和對比度，tf.image.random_brightness、tf.image.random_contrast
# 以及對數據進行標準化，白化 tf.image.per_image_standardization() 減去均值、除以方差，保證數據零均值，方差為1
images_train, labels_train = cifar10_input.distorted_inputs(#可以之解讀數據，然後按每一批次的來讀取
    data_dir=data_dir, batch_size=batch_size
)#對應計算圖中的一個字圖 cifar10_input封裝的是一個tensor 輸入進來數據，再把處理邏輯輸出出去

# 生成測試數據，不過這裏不需要進行太多處理，不需要對圖片進行翻轉或修改亮度、對比度，
# 不過需要裁剪圖片正中間的24*24大小的區塊。（因為訓練的數據是24*24的，通過函數cifar10_input.distorted_inputs讀進來時處理了）
# 並進行數據標準化操作
# 測試的是一批數據
images_test, labels_test = cifar10_input.inputs(eval_data=True, data_dir=data_dir, batch_size=batch_size)

# 因為batch_size在之後定義網絡結構時被用到了，所以數據尺寸中的第一個值即樣本條數需要被預先設定，而不能像以前那樣設置為None
# 而數據尺寸中的圖片尺寸為24*24即是剪裁後的大小，顏色通道數則設為3
# 這裏寫batch_size而不是None 因為後面代碼中get_shape會拿到這裏面的batch_size
image_holder = tf.placeholder(tf.float32, [batch_size, 24, 24, 3])#訓練集多少行
label_holder = tf.placeholder(tf.int32, [batch_size])#訓練集多少行，就有多少個Label

# 初始設置第一個卷積層,64個卷積核，卷積核大小是5*5，3通道
weight1 = variable_with_weight_losses(shape=[5, 5, 3, 64], stddev=5e-2, wl=0.0)#在卷積這塊不做正則化
kernel1 = tf.nn.conv2d(image_holder, filter=weight1, strides=[1, 1, 1, 1], padding=‘SAME‘)#做真正的卷積
bias1 = tf.Variable(tf.constant(0.0, shape=[64]))#0.1也可
conv1 = tf.nn.relu(tf.nn.bias_add(kernel1, bias1))#用激活函數
# 使用尺寸3*3步長2*2的最大池化層處理數據，這裏最大池化的尺寸和步長不一樣，可以增加數據的豐富性
pool1 = tf.nn.max_pool(conv1, ksize=[1, 3, 3, 1], strides=[1, 2, 2, 1], padding=‘SAME‘)
# 使用LRN對結果進行處理
# LRN最早見於Alex那篇用CNN參加ImageNet比賽的論文，Alex在論文中解釋LRN層模仿了生物神經系統的"側抑制(單邊抑制)"機制，
# 對局部神經元的活動創建競爭環境，使得其中響應比較大的值變得相對更大，並抑制其他反饋較小的神經元，增強了模型的泛化能力
# Alex在ImageNet（上百萬張圖片）數據集上的實驗表明，使用LRN後CNN在Top1的錯誤率可以降低1.4%，因此其在經典AlexNet中使用了LRN層
# LRN對ReLU這種沒有上限邊界的激活函數會比較有用，因為它會從附近的多個卷積核的響應中挑選比較大的反饋
# 但不適合Sigmoid這種有固定邊界並且能抑制過大值得激活函數
# LRN對Relu配合較好，適合Alex架構
norm1 = tf.nn.lrn(pool1, 4, bias=1.0, alpha=0.001 / 9.0, beta=0.75)

# 創建第二個卷積層
# 上面64個卷積核，即輸出64個通道，所以本層卷積核尺寸的第三個維度即輸入的通道數也需要調整為64
weight2 = variable_with_weight_losses(shape=[5, 5, 64, 64], stddev=5e-2, wl=0.0)
kernel2 = tf.nn.conv2d(norm1, weight2, [1, 1, 1, 1], padding=‘SAME‘)
# 還有這裏的bias值全部初始化為0.1，而不是0.最後，調換了最大池化層和LRN層的順序，先進行LRN層處理，再使用最大池化層
bias2 = tf.Variable(tf.constant(0.1, shape=[64]))
conv2 = tf.nn.relu(tf.nn.bias_add(kernel2, bias2))
norm2 = tf.nn.lrn(conv2, 4, bias=1.0, alpha=0.001 / 9.0, beta=0.75)
pool2 = tf.nn.max_pool(norm2, ksize=[1, 3, 3, 1], strides=[1, 2, 2, 1], padding=‘SAME‘)

# 兩個卷積層之後，是全連接層
# 先把第二個卷積層之後的輸出結果flatten，使用tf.reshape函數將每個樣本都變成一維向量，使用get_shape函數獲取數據扁平化之後的長度
reshape = tf.reshape(pool2, [batch_size, -1])
dim = reshape.get_shape()[1].value
# 接著初始化權值，隱含節點384個，正太分布的標準差設為0.04，bias的值也初始化為0.1
# 註意這裏我們希望這個全連接層不要過擬合，因此設了一個非零的weight loss值0.04，讓這一層具有L2正則所約束。
weight3 = variable_with_weight_losses(shape=[dim, 384], stddev=0.04, wl=0.004)
bias3 = tf.Variable(tf.constant(0.1, shape=[384]))#寫0.1是為了Relu小於0時全為0，所以給0.1不至於成為死亡神經元
# 最後我們依然使用ReLU激活函數進行非線性化
local3 = tf.nn.relu(tf.matmul(reshape, weight3) + bias3)

# 接下來還是全連接層，只是隱含節點只有一半，其他一樣
weight4 = variable_with_weight_losses(shape=[384, 192], stddev=0.04, wl=0.004)#全連接的神經元384---192 是不斷減少的，成倍減少 因為在不斷的總結 卷積是不斷地變寬，也是成倍的
bias4 = tf.Variable(tf.constant(0.1, shape=[192]))
local4 = tf.nn.relu(tf.matmul(local3, weight4) + bias4)

# 最後一層輸出層，依然先創建一層weight，其正太分布標準差設為一個隱含層節點數的倒數，並且不用L2正則
# 這裏沒有用之前的softmax輸出最後結果，這裏把softmax操作放在了計算loss部分，其實我們不需要對inference的輸出進行softmax
# 處理就可以獲得最終分類結果（直接比較inference輸出的各類的數值大小即可），計算softmax主要是為了計算loss，因此softmax操作整合到後面合理
weight5 = variable_with_weight_losses(shape=[192, 10], stddev=1/192.0, wl=0.0)
bias5 = tf.Variable(tf.constant(0.0, shape=[10]))
logits = tf.add(tf.matmul(local4, weight5), bias5)


# 到這裏就完成了整個網絡inference（構建）的部分，梳理整個網絡結構，設計性能良好的CNN是有一定規律可循的，但是想要針對某個問題設計最合適的
# 網絡結構，是需要大量實際摸索的
# 完成模型inference的構建，接下來是計算CNN的loss，這裏依然是用cross_entropy，這裏我們把softmax的計算和cross_entropy的計算
# 合在了一起，即 tf.nn.sparse_softmax_cross_entropy_with_logits()
# 這裏使用 tf.reduce_mean() 對 cross entropy計算均值，再使用 tf.add_to_collection()把cross entropy的loss添加到整體
# losses的collection中，最後，使用tf.add_n將整體losses的collection集合中的全部loss求和，得到最終的loss，其中包括
# cross entropy loss, 還有後兩個全連接層中weight的L2 loss
def loss(logits, labels):
    labels = tf.cast(labels, tf.int64)#真實標簽0-9
    cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(
        logits=logits, labels=labels, name=‘cross_entropy_per_example‘
    )#交叉熵
    cross_entropy_mean = tf.reduce_mean(cross_entropy,
                                        name=‘cross_entropy‘)
    tf.add_to_collection(‘losses‘, cross_entropy_mean)#加到最開始定義的集合這裏最後又兩部分交叉熵損失函數+L2損失函數

    return tf.add_n(tf.get_collection(‘losses‘), name=‘total_loss‘)#拿到兩部分損失

loss = loss(logits=logits, labels=label_holder)#logits輸出的結果
# 優化器依然選擇Adam Optimizer, 學習速率0.001
train_op = tf.train.AdamOptimizer(1e-3).minimize(loss)#在訓練過程中不斷調整w和b

# 使用 tf.nn.in_top_k()函數求輸出結果中 top k的準確率，默認使用top 1，也就是輸出分數最高的那一類的準確率
top_k_op = tf.nn.in_top_k(logits, label_holder, 1)#這裏1是top1 相同為1 進行累加  得出準確率

sess = tf.InteractiveSession()
tf.global_variables_initializer().run()

# 前面對圖像進行數據增強(各種扭曲縮小)的操作需要耗費大量CPU時間，因此distorted_inputs使用了16個獨立的線程來加速任務，函數內部會產生線程池，
# 在需要使用時會通過TensorFlow queue進行調度
# 啟動圖片數據增強的線程隊列，這裏一共使用了16個線程來進行加速，如果不啟動線程，那麽後續inference以及訓練的操作都是無法開始的
tf.train.start_queue_runners()

# 進行訓練
for step in range(max_steps):
    start_time = time.time()
    image_batch, label_batch = sess.run([images_train, labels_train])#真正執行tensor邏輯 返回的是一批次的數據
    _, loss_value = sess.run([train_op, loss],
                             feed_dict={image_holder: image_batch, label_holder: label_batch})
    duration = time.time() - start_time
    if step % 10 == 0:
        examples_per_sec = batch_size / duration
        sec_per_batch = float(duration)

        format_str = ‘step %d, loss = %.2f (%.1f examples/sec; %.3f sec/batch)‘
        print(format_str % (step, loss_value, examples_per_sec, sec_per_batch))


# 評測模型在測試集上的準確率
# 我們依然像訓練時那樣使用固定的batch_size，然後一個batch一個batch輸入測試數據
num_examples = 10000
# 先計算一共要多少個batch才能將全部樣本評測完
num_iter = int(math.ceil(num_examples / batch_size))
true_count = 0
total_sample_count = num_iter * batch_size
step = 0
while step < num_iter:
    image_batch, label_batch = sess.run([images_test, labels_test])#測試 取測試集中的數據
    predictions = sess.run([top_k_op], feed_dict={image_holder: image_batch,#有多少個相同的結果預測出的和真實的比較
                                                  label_holder: label_batch})
    true_count += np.sum(predictions)
    step += 1

precision = true_count / total_sample_count #預測對的和總的樣本數
print(‘precision @ 1 = %.3f‘ % precision)

三、總結

最終，在cifar-10數據集上，通過一個短時間小叠代的訓練，可以達到大致73%的準確率，持續增加max_steps，可以期望準確率逐漸增加
如果max_steps比較大，則推薦使用學習速率衰減decay的SGD進行訓練，這樣訓練過程中能達到的準確率峰值會比較高，大致有86%
其中L2正則以及LRN層的使用都對模型準確率有提升作用，它們都可以提升模型的泛化能力

數據增強Data Augmentation在我們的訓練中作用很大，它可以給單幅圖增加多個副本，提高圖片的利用率，防止對某一張圖片結構的學習過擬合
這剛好是利用了圖片數據本身的性質，圖片的冗余信息量比較大，因此可以制造不同的噪聲並讓圖片依然可以被識別出來。如果神經網絡可以克服這些
噪聲並準確識別，那麽他的泛化能力必然很好。數據增強大大增加了樣本量，而數據量的大小恰恰是深度學習最看重的，深度學習可以在圖像識別上領先
其他算法的一大因素就是它對海量數據的利用效率非常高。其他算法，可能在數據量大到一定程度時，準確率就不再上升了，而深度學習只要提供足夠
多的樣本，準確率基本持續提升，所以說它是最適合大數據的算法

【神經網絡篇】--基於數據集cifa10的經典模型實例