前言

   最近一直在研究深度學習，主要是針對卷積神經網路（CNN），接觸過的資料集也有了幾個，最經典的就是MNIST, CIFAR10/100, NOTMNIST, CATS_VS_DOGS 這幾種，由於這幾種是在深度學習入門中最被廣泛應用的，所以很多深度學習框架 Tensorflow、keras和pytorch都有針對這些資料集專用的資料匯入的函式封裝，但是一般情況下我們的資料集並不是這種很規範的形式，那麼如何把自己的資料集轉換成這些框架能夠使用的資料形式至關重要，接下來博主將會對現有的較流行的深度學習框架封裝自己的資料進行講解，首先是針對最流行的Tensorflow。

   查閱tensorflow的官方API，在GET STARTED下面的Programmer’s Guide中有一個Reading Data的章節介紹，大體內容就是tensorflow讀取資料的方式：

可以看到，tensorflow官網給出了三種讀取資料的方法：
對於資料量較小而言，可能一般選擇直接將資料載入進記憶體，然後再分batch輸入網路進行訓練（tip:使用這種方法時，結合yield 使用更為簡潔，大家自己嘗試一下吧，我就不贅述了）。但是，如果資料量較大，這樣的方法就不適用了，因為太耗記憶體，所以這時最好使用tensorflow提供的佇列queue，也就是第二種方法 從檔案讀取資料。對於一些特定的讀取，比如csv檔案格式，官網有相關的描述，在這兒我介紹一種比較通用，高效的讀取方法（官網介紹的少），即使用tensorflow內定標準格式——TFRecord.

   那下面就讓我們瞭解一下什麼是TFRecord:

1. What is TFRecord?

TFRecords其實是一種二進位制檔案，雖然它不如其他格式好理解，但是它能更好的利用記憶體，更方便複製和移動，並且不需要單獨的標籤檔案（等會兒就知道為什麼了）… …總而言之，這樣的檔案格式好處多多，所以讓我們用起來吧。這裡注意：TFRecord會根據你輸入的檔案的類，自動給每一類打上同樣的標籤。

TFRecord檔案中的資料是通過tf.train.Example Protocol Buffer的格式儲存的，下面是tf.train.Example的定義：

message Example {
 Features features = 1
 
;
};

message Features{
 map<string,Feature> featrue = 1;
};

message Feature{
    oneof kind{
        BytesList bytes_list = 1;
        FloatList float_list = 2;
        Int64List int64_list = 3;
    }
};

從上述程式碼可以看到，ft.train.Example 的資料結構相對簡潔。tf.train.Example中包含了一個從屬性名稱到取值的字典，其中屬性名稱為一個字串，屬性的取值可以為字串（BytesList ），實數列表（FloatList ）或整數列表（Int64List ）。例如我們可以將解碼前的圖片作為字串，影象對應的類別標號作為整數列表。

2. How to convert our own data to TFRecord?

終於我們關心的話題來了，怎麼轉換？這裡我們使用Kaggle上面有名貓狗大戰的資料集可以通過Dogs vs Cats來下載，為了方便演示，我們利用這個資料集建立了一個新的資料集，取貓狗圖片中各100張分別放在data資料夾下面的cats和dogs子檔案中，入下圖所示。

資料準備好以後，我們就要開始讀取資料，生成TFRecord了，下面直接上程式碼，對於程式碼內容隨後會有相應的說明：

# -*- coding: utf-8 -*-
import os 
import tensorflow as tf
from PIL import Image
import matplotlib.pyplot as plt
import numpy as np

cwd = "D://Anaconda3//spyder//Tensorflow_ReadData//data//"
classes = {'cats', 'dogs'} #預先自己定義的類別
writer = tf.python_io.TFRecordWriter('train.tfrecords') #輸出成tfrecord檔案

def _int64_feature(value):
    return tf.train.Feature(int64_list = tf.train.Int64List(value = [value]))

def _bytes_feature(value):
    return tf.train.Feature(bytes_list = tf.train.BytesList(value = [value]))

for index, name in enumerate(classes):
    class_path = cwd + name + '//'
    for img_name in os.listdir(class_path):
        img_path = class_path + img_name    #每個圖片的地址

        img = Image.open(img_path)
        img = img.resize((208, 208))
        img_raw = img.tobytes()  #將圖片轉化為二進位制格式
        example = tf.train.Example(features = tf.train.Features(feature = {
                                                                           "label": _int64_feature(index),
                                                                           "img_raw": _bytes_feature(img_raw),                                                                          
                                                                           }))
        writer.write(example.SerializeToString())  #序列化為字串
writer.close()

以上程式碼就是將資料讀去進來，生成tfrecord檔案，看過Tensorflow官方API的同學們應該都可以看懂。

3. How to read data from TFRecords?

上面已經把自己的資料儲存成tensorflow可以使用的tfrecord的形式了，那麼tensorflow到底如何使用呢？下面繼續看程式碼：

def read_and_decode(filename， batch_size): # read train.tfrecords
    filename_queue = tf.train.string_input_producer([filename])# create a queue

    reader = tf.TFRecordReader()
    _, serialized_example = reader.read(filename_queue)#return file_name and file
    features = tf.parse_single_example(serialized_example,
                                       features={
                                           'label': tf.FixedLenFeature([], tf.int64),
                                           'img_raw' : tf.FixedLenFeature([], tf.string),
                                       })#return image and label

    img = tf.decode_raw(features['img_raw'], tf.uint8)
    img = tf.reshape(img, [208, 208, 3])  #reshape image to 208*208*3
    label = tf.cast(features['label'], tf.int32) #throw label tensor

    img_batch, label_batch = tf.train.shuffle_batch([img, label],
                                                    batch_size= batch——size,
                                                    num_threads=64,
                                                    capacity=2000,
                                                    min_after_dequeue=1500,
                                                    )
    return img_batch, tf.reshape(label_batch,[batch_size])

   以上是我們定義的從tfrecord檔案中讀取資料的函式，在這裡我們使用的tensorflow的佇列讀取方式。在讀取到佇列中後，資料輸出之前還要作解碼的操作從，可以使用tf.TFRecordReader的tf.parse_single_example解析器。這個操作可以將Example協議記憶體塊(protocol buffer)解析為張量。
   可以看到，這個函式除了tfrecord檔案的名這一個引數外，還有batch_size這個引數，利用tf.train.shuffle_batch（）這個函式對讀取到的資料進行了batch處理，這樣更有利於後續的訓練。
注意：當資料量加大時，也可以將資料寫入多個TFRecord檔案。

  我們的資料是讀進來，那麼到底是不是我們想要的呢，下面就是我們的測試程式。

4. How to show TFRecords’ images?

tfrecords_file = 'D://Anaconda3//spyder//Tensorflow_ReadData//train.tfrecords'
BATCH_SIZE = 4
image_batch, label_batch = read_and_decode(tfrecords_file，BATCH_SIZE)

with tf.Session()  as sess:

    i = 0
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(coord=coord)

    try:
        while not coord.should_stop() and i<1:
            # just plot one batch size
            image, label = sess.run([image_batch, label_batch])
            for j in np.arange(4):
                print('label: %d' % label[j])
                plt.imshow(image[j,:,:,:])
                plt.show()
            i+=1
    except tf.errors.OutOfRangeError:
        print('done!')
    finally:
        coord.request_stop()
    coord.join(threads)

這裡我們也是用的tensorflow官網推薦的佇列管理形式，batch_size這裡可以大家任意設定，顯示幾幅圖片都可以，這裡博主設定的是4。

這樣就可以把任意格式的資料轉換成tensorflow推薦的TFRecord的格式的了，是不是隨你有很大幫助呢。下面是完整的程式碼：

# -*- coding: utf-8 -*-
import os 
import tensorflow as tf
from PIL import Image
import matplotlib.pyplot as plt
import numpy as np

#%%
cwd = "D://Anaconda3//spyder//Tensorflow_ReadData//data//"
classes = {'cats', 'dogs'}
writer = tf.python_io.TFRecordWriter('train.tfrecords')

def _int64_feature(value):
    return tf.train.Feature(int64_list = tf.train.Int64List(value = [value]))

def _bytes_feature(value):
    return tf.train.Feature(bytes_list = tf.train.BytesList(value = [value]))

for index, name in enumerate(classes):
    class_path = cwd + name + '//'
    for img_name in os.listdir(class_path):
        img_path = class_path + img_name    #每個圖片的地址

        img = Image.open(img_path)
        img = img.resize((208, 208))
        img_raw = img.tobytes()  #將圖片轉化為二進位制格式
        example = tf.train.Example(features = tf.train.Features(feature = {
                                                                           "label": _int64_feature(index),
                                                                           "img_raw": _bytes_feature(img_raw),                                                                          
                                                                           }))
        writer.write(example.SerializeToString())  #序列化為字串
writer.close()
#%%
def read_and_decode(filename, batch_size): # read train.tfrecords
    filename_queue = tf.train.string_input_producer([filename])# create a queue

    reader = tf.TFRecordReader()
    _, serialized_example = reader.read(filename_queue)#return file_name and file
    features = tf.parse_single_example(serialized_example,
                                       features={
                                           'label': tf.FixedLenFeature([], tf.int64),
                                           'img_raw' : tf.FixedLenFeature([], tf.string),
                                       })#return image and label

    img = tf.decode_raw(features['img_raw'], tf.uint8)
    img = tf.reshape(img, [208, 208, 3])  #reshape image to 512*80*3
#    img = tf.cast(img, tf.float32) * (1. / 255) - 0.5 #throw img tensor
    label = tf.cast(features['label'], tf.int32) #throw label tensor

    img_batch, label_batch = tf.train.shuffle_batch([img, label],
                                                    batch_size= batch_size,
                                                    num_threads=64,
                                                    capacity=2000,
                                                    min_after_dequeue=1500,
                                                    )
    return img_batch, tf.reshape(label_batch,[batch_size])

#%%
tfrecords_file = 'D://Anaconda3//spyder//Tensorflow_ReadData//train.tfrecords'
BATCH_SIZE = 4
image_batch, label_batch = read_and_decode(tfrecords_file, BATCH_SIZE)

with tf.Session()  as sess:

    i = 0
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(coord=coord)

    try:
        while not coord.should_stop() and i<1:
            # just plot one batch size
            image, label = sess.run([image_batch, label_batch])
            for j in np.arange(BATCH_SIZE):
                print('label: %d' % label[j])
                plt.imshow(image[j,:,:,:])
                plt.show()
            i+=1
    except tf.errors.OutOfRangeError:
        print('done!')
    finally:
        coord.request_stop()
    coord.join(threads)

執行結果如下：

只需要Ctrl+C和V點選執行，就可以得到上面的結果了。

接下來還會講解到另外兩個深度學習框架Keras,pytorch如何將自己的資料轉化為框架可以使用的格式，敬請期待吧！！！！