Tensorflow製作並用CNN訓練自己的資料集
阿新 • • 發佈:2019-02-09
本人初學Tensorflow,在學習完用MNIST資料集訓練簡單的MLP、自編碼器、CNN後,想著自己能不能做一個數據集,並用卷積神經網路訓練,所以在網上查了一下資料,發現可以使用標準的TFrecords格式。但是,遇到了問題,製作好的TFrecords的資料集,執行的時候報錯,網上沒有找到相關的方法。後來我自己找了個方法解決了。如果有人有更好的方法,可以交流一下。
1. 準備資料
我準備的是貓和狗兩個類別的圖片,分別存放在D盤train_data資料夾下,如下圖:
資料集存放.png2. 製作tfrecords檔案
程式碼起名為make_own_data.py
tfrecord會根據你選擇輸入檔案的類,自動給每一類打上同樣的標籤。
程式碼如下:
# -*- coding: utf-8 -*- """ @author: caokai """ import os import tensorflow as tf from PIL import Image import matplotlib.pyplot as plt import numpy as np cwd='D:/train_data/' classes={'dog','cat'} #人為設定2類 writer= tf.python_io.TFRecordWriter("dog_and_cat_train.tfrecords") #要生成的檔案 for index,name in enumerate(classes): class_path=cwd+name+'/' for img_name in os.listdir(class_path): img_path=class_path+img_name #每一個圖片的地址 img=Image.open(img_path) img= img.resize((128,128)) img_raw=img.tobytes()#將圖片轉化為二進位制格式 example = tf.train.Example(features=tf.train.Features(feature={ "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[index])), 'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw])) })) #example物件對label和image資料進行封裝 writer.write(example.SerializeToString()) #序列化為字串 writer.close()
這樣就‘狗’和‘貓’的圖片打上了兩類資料0和1,並且檔案儲存為dog_and_cat_train.tfrecords,你會發現自己的python程式碼所在的資料夾裡有了這個檔案。
3. 讀取tfrecords檔案
將圖片和標籤讀出,圖片reshape為128x128x3。
讀取程式碼單獨作為一個檔案,起名為ReadMyOwnData.py
程式碼如下:
# -*- coding: utf-8 -*- """ tensorflow : read my own dataset @author: caokai """ import tensorflow as tf def read_and_decode(filename): # 讀入dog_train.tfrecords filename_queue = tf.train.string_input_producer([filename])#生成一個queue佇列 reader = tf.TFRecordReader() _, serialized_example = reader.read(filename_queue)#返回檔名和檔案 features = tf.parse_single_example(serialized_example, features={ 'label': tf.FixedLenFeature([], tf.int64), 'img_raw' : tf.FixedLenFeature([], tf.string), })#將image資料和label取出來 img = tf.decode_raw(features['img_raw'], tf.uint8) img = tf.reshape(img, [128, 128, 3]) #reshape為128*128的3通道圖片 img = tf.cast(img, tf.float32) * (1. / 255) - 0.5 #在流中丟擲img張量 label = tf.cast(features['label'], tf.int32) #在流中丟擲label張量 return img, label
4. 使用卷積神經網路訓練
這一部分Python程式碼起名為dog_and_cat_train.py
4.1 定義好卷積神經網路的結構
要把我們讀取檔案的ReadMyOwnData匯入,這邊權重初始化使用的是tf.truncated_normal,兩次卷積操作,兩次最大池化,啟用函式ReLU,全連線層,最後y_conv是softmax輸出的二類問題。損失函式用交叉熵,優化演算法Adam。
卷積部分程式碼如下:
# -*- coding: utf-8 -*-
"""
@author: caokai
"""
import tensorflow as tf
import numpy as np
import ReadMyOwnData
batch_size = 50
#initial weights
def weight_variable(shape):
initial = tf.truncated_normal(shape, stddev = 0.1)
return tf.Variable(initial)
#initial bias
def bias_variable(shape):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial)
#convolution layer
def conv2d(x,W):
return tf.nn.conv2d(x, W, strides=[1,1,1,1], padding='SAME')
#max_pool layer
def max_pool_4x4(x):
return tf.nn.max_pool(x, ksize=[1,4,4,1], strides=[1,4,4,1], padding='SAME')
x = tf.placeholder(tf.float32, [batch_size,128,128,3])
y_ = tf.placeholder(tf.float32, [batch_size,1])
#first convolution and max_pool layer
W_conv1 = weight_variable([5,5,3,32])
b_conv1 = bias_variable([32])
h_conv1 = tf.nn.relu(conv2d(x, W_conv1) + b_conv1)
h_pool1 = max_pool_4x4(h_conv1)
#second convolution and max_pool layer
W_conv2 = weight_variable([5,5,32,64])
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_4x4(h_conv2)
#變成全連線層,用一個MLP處理
reshape = tf.reshape(h_pool2,[batch_size, -1])
dim = reshape.get_shape()[1].value
W_fc1 = weight_variable([dim, 1024])
b_fc1 = bias_variable([1024])
h_fc1 = tf.nn.relu(tf.matmul(reshape, W_fc1) + b_fc1)
#dropout
keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
W_fc2 = weight_variable([1024,2])
b_fc2 = bias_variable([2])
y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
#損失函式及優化演算法
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y_conv), reduction_indices=[1]))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv,1),tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
4.2 訓練
從自己的資料集中讀取資料,並初始化訓練
image, label = ReadMyOwnData.read_and_decode("dog_and_cat_train.tfrecords")
sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
coord=tf.train.Coordinator()
threads= tf.train.start_queue_runners(coord=coord)
在feed資料進行訓練時,嘗試網上其他文章,遇到如下錯誤:
Cannot feed value of shape (128, 128, 3) for Tensor u'Placeholder_12:0', which has shape '(50, 128, 128, 3)'
或者如下錯誤:
TypeError:The value of a feed cannot be a tf.Tensor object. Acceptable feed values include Python scalars, strings, lists, or numpy ndarrays.
我嘗試了一下,程式碼寫成下面這樣可以通過:
example = np.zeros((batch_size,128,128,3))
l = np.zeros((batch_size,1))
try:
for i in range(20):
for epoch in range(batch_size):
example[epoch], l[epoch] = sess.run([image,label])#在會話中取出image和label
train_step.run(feed_dict={x: example, y_: l, keep_prob: 0.5})
print(accuracy.eval(feed_dict={x: example, y_: l, keep_prob: 0.5})) #eval函式類似於重新run一遍,驗證,同時修正
except tf.errors.OutOfRangeError:
print('done!')
finally:
coord.request_stop()
coord.join(threads)
如果有更好更高效的讀入tfrecords資料集並訓練CNN的方法,可以交流一下。