AI的影象處理技術---第二篇《LeNet-5和Inception-v3》
阿新 • • 發佈：2019-01-29
1.LeNet-5學習總結
除錯程式是一個痛苦的過程，對於LeNet-5模型的程式碼，還需要一天來debug，後續將詳細介紹整套程式碼debug詳細資料，先新增目前已經實現的的部分。
目前實現了mnist的經典程式設計，還需要明天學習總結，其中 sparse_softmax_cross_entropy_with_logits 函式需要加入labels和logit 屬性才能使用
2.Inception-v3學習總結
inception-v3 神經網路結構與卷積神經網路不同的地方是其網路結構是並聯的，也就是說它同時有1x1,3x3,5x5三個filter並聯處理輸入，然後將輸出拼接為一個矩陣，然後提取特徵值。
鑑於程式設計除錯過於繁瑣複雜，不便於每天分享，因此將程式設計除錯過程放在週末進行，後續會更新程式設計程式碼，並分析除錯過程以及遇到的坑。
# -*- coding: gb2312 -*- import tensorflow as tf #配置神經網路的引數 INPUT_NODE = 784 OUTPUT_NODE = 10 IMAGE_SIZE = 28 NUM_CHANNELS = 1 NUM_LABELS = 10 #第一層卷積層的尺寸和深度 CONV1_DEEP = 32 CONV1_SIZE = 5 #第二層卷積層的尺寸和深度 CONV2_DEEP = 64 CONV2_SIZE = 5 #全連線層的節點個數 FC_SIZE = 512 #定義卷積神經網路的前向傳播過程。這裡添加了一個新的引數train， 用於區分訓練過程和測試過程。 #在這個程式中將用到dropout方法，dropout可以進一步提升模型可靠性並防止過擬合， #dropout過程只在訓練時使用 def inference(input_tensor, train, regularizer): #宣告第一層卷積層的變數並實現前向傳播過程。 #通過使用不同的名稱空間來隔離不同層的變數，這可以讓每一層中的變數命名只需要考慮當前層的作用， #而不用擔心重新命名的問題。和標準LeNet-5模型不一樣，這裡定義的卷積層輸入為28x28x1的原始MNIST #影象畫素，因為卷積層中使用了全0填充，所以輸出為28x28x32的矩陣 with tf.variable_scope('layer1-conv1'): conv1_weights = tf.get_variable( "weight", [CONV1_SIZE, CONV1_SIZE, NUM_CHANNELS, CONV1_DEEP], initializer = tf.truncated_normal_initializer(stddev=0.1)) conv1_biases = tf.get_variable( "bias", [CONV1_DEEP], initializer = tf.constant_initializer(0.0)) #使用邊長為5， 深度為32的過濾器，過濾器移動的步長為1，且使用全0填充 conv1 = tf.nn.conv2d( input_tensor, conv1_weights, strides = [1,1,1,1], padding = 'SAME') relu1 = tf.nn.relu(tr.nn.bias_add(conv1, conv1_biases)) #實現第二層池化層的前向傳播過程。這裡選用最大池化層，池化層過濾器的邊長為2， #使用全0填充且移動的步長為2。 這一層的輸入是上一層的輸出，也就是28x28x32的矩陣。 #輸出矩陣為14x14x32的矩陣。 with tf.name_scope('layer2-pool1'): pool1 = tf.nn.max_pool( relu1, ksize = [1,2,2,1], strides=[1,2,2,1], padding='SAME') #宣告第三層卷積層的變數並實現前向傳播過程。這一層的輸入為14x14x32的矩陣 #輸出為14x14x64的矩陣。 with tf.variable_scope('layer3-conv2'): conv2_weights = tf.get_variable( "weight", [CONV2_SIZE, CONV2_SIZE, CONV1_DEEP, CONV2_DEEP], initializer = tf.truncated_normal_initializer(stddev = 0.1)) conv2_biases = tf.get_variable( "bias", [CONV2_DEEP], initializer = tf.constant_initializer(0.0)) #使用邊長為5， 深度為64的過濾器，過濾器移動的不長為1， 且使用全0填充 conv2 = tf.nn.conv2d( pool1, conv2_weights, strides = [1,1,1,1], padding = 'SAME') relu2 = tf.nn.relu(tf.nn.bias_add(conv2, conv2_biases)) #實現第四層池化層的前向傳播過程。 這一層和第二層的結構是一樣的。這一層的輸入為14x14x16的矩陣， #輸出為7x7x64的矩陣。 with tf.name_scope('layer4-pool2'): pool2 = tf.nn.max_pool( relu2, ksize = [1,2,2,1], strides = [1,2,2,1], padding='SAME') #第四層池化層的輸出轉化為第五層全連線層的輸入格式。 第四層的輸出為7x7x64的矩陣， #然而第五層全連線層需要的輸入格式為向量，所以在這裡需要將這個7x7x64的矩陣拉直成一個向量。 #pool2.get_shape函式可以得到第四層輸出矩陣的維度而不需要手工計算。 #注意以為每一層神經網路的輸入輸出都為一個batch的矩陣。所以這裡得到的維度也包含了一個batch中資料的格式。 pool_shape = pool2.get_shape().as_list() #計算將矩陣拉直成向量之後的長度，這個長度就是矩陣長度及深度的乘積。 #注意，這裡pool_shape[0]為一個batch中資料的個數。 nodes = pool_shape[1] * pool_shape[2] *pool_shape[3] #通過tf.reshape函式將第四層的輸出變成一個batch的向量。 reshaped = tf.reshape(pool2, [pool_shape[0], nodes]) #宣告第五層全連線層的變數並實現前向傳播過程。這一層的輸入是拉直之後的一組向量，向量長度為3136， #輸出是一組長度為512的向量。dropout一般只在全連線層而不是卷積層或者池化層使用。 with tf.variable_scope('layer5-fc1'): fc1_weights = tf.get_variable( "weight", [nodes, FC_SIZE], initializer = tf.truncated_normal_initializer(stddev=0.1)) #只有全連線層的權重需要加入正則化。 if regularizer != None: tf.add_to_collection('losses', regularizer(fc1_weights)) fc1_biases = tf.get_variable( "bias", [FC_SIZE], initializer = tf.constant_initializer(0.1)) fc1 = tf.nn.relu(tf.matmul(reshaped, fc1_weights) + fc1_biases) if train: fc1 = tf.nn.dropout(fc1, 0.5) #宣告第六層全連線層的變數並實現前向傳播過程。 這一層的輸入為一組長度為512的向量， #輸出為一組長度為10的向量，這一層的輸出通過Softmax之後就得到了最後的分類結果。 with tf.variable_scope('layer6-fc2'): fc2_weights = tf.get_variable( "weight", [FC_SIZE, NUM_LABELS], initializer = tf.truncated_normal_initializer(stddev = 0.1)) if regularizer != None: tf.add_to_collection('losses', regularizer(fc2_weights)) fc2_biases = tf.get_variable( "bias", [NUM_LABELS], initializer = tf.constant_initializer(0.1)) logit = tf.matmul(fc1, fc2_weights)+fc2_biases #返回第六層的輸出 return logit
# -*- coding:gb2312 -*- ''' file: mnist_train.py ''' import os import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #載入mnist_inference.py 中定義的常量和前向傳播的函式 import mnist_inference #配置神經網路的引數 BATCH_SIZE = 100 LEARNING_RATE_BASE = 0.8 LEARNING_RATE_DECAY = 0.99 REGULARAZTION_RATE = 0.0001 TRAINING_STEPS = 30000 MOVING_AVERAGE_DECAY = 0.99 #模型儲存的路徑和檔名。 MODEL_SAVE_PATH = './model/' MODEL_NAME = 'model.ckpt' def train(mnist): #定義輸入輸出placeholder。 x = tf.placeholder( tf.float32, [None, mnist_inference.INPUT_NODE], name = 'x-input') y_ = tf.placeholder( tf.float32, [None, mnist_inference.OUTPUT_NODE], name = 'y-input') regularizer = tf.contrib.layers.l2_regularizer(REGULARAZTION_RATE) #直接使用mnist_inference.py y = mnist_inference.inference(x, regularizer) global_step = tf.Variable(0, trainable=False) #定義損失函式、學習率、滑動平均操作以及訓練過程。 variable_averages = tf.train.ExponentialMovingAverage( MOVING_AVERAGE_DECAY, global_step) variables_averages_op = variable_averages.apply( tf.trainable_variables()) cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits( labels=tf.argmax(y_, 1), logits=y) cross_entropy_mean = tf.reduce_mean(cross_entropy) loss = cross_entropy_mean + tf.add_n(tf.get_collection('losses')) learning_rate = tf.train.exponential_decay( LEARNING_RATE_BASE, global_step, mnist.train.num_examples/BATCH_SIZE, LEARNING_RATE_DECAY) train_step = tf.train.GradientDescentOptimizer(learning_rate)\ .minimize(loss, global_step = global_step) with tf.control_dependencies([train_step, variables_averages_op]): train_op = tf.no_op(name = 'train') #初始化TensorFlow持久化類。 saver = tf.train.Saver() with tf.Session() as sess: tf.initialize_all_variables().run() #在訓練過程中不再測試模型在驗證資料上的表現，驗證和測試的過程將會有一個獨立的程式來完成 for i in range(TRAINING_STEPS): xs, ys = mnist.train.next_batch(BATCH_SIZE) _, loss_value, step = sess.run([train_op, loss, global_step], feed_dict = {x:xs, y_: ys}) #每1000輪儲存一次模型。 if i%1000 == 0: ''' 輸出當前的訓練情況。這裡只輸出了模型在當前訓練batch上的損失函式大小。 通過損失函式的大小可以大概瞭解訓練的情況。在驗證資料集上的正確率資訊會有一個 單獨的程式來生成 ''' print("After %d training steps, loss on training " "batch is %g."%(step, loss_value)) ''' 儲存當前的模型。global_step引數可以讓每個被儲存模型的檔名末尾加上訓練的輪數 ''' saver.save( sess, os.path.join(MODEL_SAVE_PATH, MODEL_NAME), global_step = global_step) def main(argv = None): mnist = input_data.read_data_sets('./data/', one_hot=True) train(mnist) if __name__ == '__main__': tf.app.run()
# -*- coding:gb2312 -*-
'''
file:mnist_inference.py
brief:這段程式碼中定義了神經網路的前向傳播演算法
'''
import tensorflow as tf
#定義神經網路結構相關的引數
INPUT_NODE = 784
OUTPUT_NODE = 10
LAYER1_NODE = 500
#通過tf.get_variable函式來獲取變數。在訓練神經網路時會建立這些變數；在測試時會通過儲存的模型
#載入這些變數的取值。而且更加方便的是，因為可以在變數載入時將滑動平均變數重新命名，所以可以直接通過同樣的名字
#在訓練時使用變數自身，而在測試時使用變數的滑動平均值。在這個函式中也會將變數的正則化損失加入損失集合
def get_weight_variable(shape, regularizer):
weights = tf.get_variable(
"weights", shape,
initializer = tf.truncated_normal_initializer(stddev=0.1))
#當給出了正則化生成函式時，將當前變數的正則化損失加入名字為losses的集合。在這裡使用了
#add_to_collection函式將一個張量加入一個集合，而這個集合的名稱為losses。
#這是自定義的集合，不在TensorFlow自動管理的集合列表中。
if regularizer != None:
tf.add_to_collection('losses', regularizer(weights))
return weights
#定義神經網路的前向傳播過程。
def inference(input_tensor, regularizer):
#申明第一層神經網路的變數並完成前向傳播過程。
with tf.variable_scope('layer1'):
'''
這裡通過tf.get_variable或tf.variable沒有本質區別，因為在訓練或是測試中沒有在
同一個程式中多次呼叫這個函式。如果在同一個程式中多次呼叫，在第一次呼叫之後需要將reuse
引數設定為True
'''
weights = get_weight_variable(
[INPUT_NODE, LAYER1_NODE], regularizer)
biases = tf.get_variable(
"biases", [LAYER1_NODE],
initializer = tf.constant_initializer(0.0))
layer1 = tf.nn.relu(tf.matmul(input_tensor, weights) + biases)
#類似的申明第二層神經網路的變數並完成前向傳播過程
with tf.variable_scope('layer2'):
weights = get_weight_variable(
[LAYER1_NODE, OUTPUT_NODE], regularizer)
biases = tf.get_variable(
'biases', [OUTPUT_NODE],
initializer = tf.constant_initializer(0.0))
layer2 = tf.matmul(layer1, weights) + biases
#返回最後前向傳播的結果。
return layer2