TensorFlow資料讀取方式：

• 利用placeholder讀取記憶體資料
• Dataset API同時支援從記憶體和硬碟的讀取，相比之前的兩種方法在語法上更加簡潔易懂

Dataset建立和讀取資料集

Google官方給出的Dataset API中的類圖如下所示：

Dataset可以看作是相同型別元素的有序列表。在實際使用時，單個元素可以是向量，也可以是字串、圖片，元組tuple或者字典dict

簡單的建立和讀取

以單個元素為數字為例建立Dataset，建立的資料集包含1~5 5個元素

dataset = tf.data.Dataset.from_tensor_slices(np.array
 
([1.0, 2.0, 3.0, 4.0, 5.0]))

使用類iterator讀取資料集中的值如下所示：

#例項化make_one_shot_iterator物件，該物件只能讀取一次
iterator = dataset.make_one_shot_iterator()
# 從iterator裡取出一個元素
one_element = iterator.get_next()
with tf.Session() as sess:
    for i in range(5):
        print(sess.run(one_element))

如果一個dataset中元素被讀取完了，再嘗試sess.run(one_element)的話，就會丟擲tf.errors.OutOfRangeError異常，這個行為與使用佇列方式讀取資料的行為是一致的。在實際程式中，可以在外界捕捉這個異常以判斷資料是否讀取完，請參考下面的程式碼：

iterator = dataset.make_one_shot_iterator()
one_element = iterator.get_next()
with tf.Session() as sess:
    try:
        while True:
            print(sess.run(one_element))
    except tf.errors.OutOfRangeError:
        print("end!")

建立較為複雜的Dataset

tf.data.Dataset.from_tensor_slices會切分傳入Tensor的第0個維度，生成相應的dataset。

dataset = tf.data.Dataset.from_tensor_slices(np.random.uniform(size=(5, 2)))

傳入的數值是一個矩陣，它的形狀為(5, 2)，tf.data.Dataset.from_tensor_slices就會切分它形狀上的第0個維度，最後生成的dataset中一個含有5個元素，每個元素的形狀是(2, )，即每個元素是矩陣的一行，相當於一個一維的array。
實際使用中，Dataset中的元素可能是元組或者字典。在影象識別問題中，一個元素可以是{“image”: image_tensor, “label”: label_tensor}形式的字典。
例如：（字典）

dataset = tf.data.Dataset.from_tensor_slices(
    {
        "a": np.array([1.0, 2.0, 3.0, 4.0, 5.0]),
        "b": np.random.uniform(size=(5, 2))
    }
)

輸出：

{'a': 1.0, 'b': array([0.26454147, 0.78977893])}
{'a': 2.0, 'b': array([0.19478178, 0.37884041])}
{'a': 3.0, 'b': array([0.45655924, 0.46979661])}
{'a': 4.0, 'b': array([0.08724776, 0.26343558])}
{'a': 5.0, 'b': array([0.63206763, 0.02796295])}

例如（元組）：

dataset = tf.data.Dataset.from_tensor_slices(
  (np.array([1.0, 2.0, 3.0, 4.0, 5.0]), np.random.uniform(size=(5, 2)))
)

輸出：

(1.0, array([0.48643253, 0.69208099]))
(2.0, array([0.96668577, 0.39036077]))
(3.0, array([0.54854508, 0.54833064]))
(4.0, array([0.30970788, 0.29545166]))
(5.0, array([0.0290356 , 0.75689468]))

對Dataset中的資料進行轉換transformation

一個Dataset通過Transformation變成一個新的Dataset。通常我們可以通過Transformation完成資料變換，打亂，組成batch，生成epoch等一系列操作
常用的Transformation有：

• map
• batch
• shuffle

• repeat

  （1）map
  map接收一個函式物件，Dataset中的每個元素都會被當作這個函式的輸入，並將函式返回值作為新的Dataset，如我們可以對dataset中每個元素的值加1：

dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0]))
dataset = dataset.map(lambda x: x + 1) # 2.0, 3.0, 4.0, 5.0, 6.0

（2）batch
根據接收的整數值將該數個元素組合成batch，如下面的程式將dataset中的元素組成了大小為32的batch

dataset = dataset.batch(32)

（3）shuffle
打亂dataset中的元素，它有一個引數buffersize，表示打亂時使用的buffer的大小

dataset = dataset.shuffle(buffer_size=10000)

（4）repeat
整個序列重複多次，主要用來處理機器學習中的epoch，假設原先的資料是一個epoch，使用repeat(5)就可以將之變成5個epoch：

dataset = dataset.repeat(5)

例項：讀入磁碟圖片和label建立Dataset

讀入磁碟中的圖片和圖片相應的label，並將其打亂，組成batch_size=32的訓練樣本。在訓練時重複10個epoch。

# 將filename對應的圖片檔案讀入，並縮放到統一的大小
def _parse_function(filename, label):
  # 讀取影象檔案內容編碼為字串
  image_contents = tf.read_file(filename)
  # 根據影象編碼後的字串解碼為uint8的tensor
  image_decoded = tf.image.decode_image(image_contents)
  # 修改影象尺寸
  image_resized = tf.image.resize_images(image_decoded, [28, 28])
  return image_resized, label

# 圖片檔案的列表
filenames = tf.constant(["/var/data/image1.jpg", "/var/data/image2.jpg", ...])
# label[i]就是圖片filenames[i]的label
labels = tf.constant([0, 37, ...])

# 此時dataset中的一個元素是(filename, label)
dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))

# 此時dataset中的一個元素是(image_resized, label)
dataset = dataset.map(_parse_function)

# 此時dataset中的一個元素是(image_resized_batch, label_batch)
# dataset中的元素是(image_resized_batch, label_batch)，image_resized_batch的形狀為(32, 28, 28, 3)，而label_batch的形狀為(32, )
dataset = dataset.shuffle(buffersize=1000).batch(32).repeat(10)

Dataset其他建立方法

Dataset API還提供了另外三種建立Dataset的方式：

• tf.data.TextLineDataset()：這個函式的輸入是一個檔案的列表，輸出是一個dataset。dataset中的每一個元素就對應了檔案中的一行。可以使用這個函式來讀入CSV檔案。
• tf.data.FixedLengthRecordDataset()：這個函式的輸入是一個檔案的列表和一個record_bytes，之後dataset的每一個元素就是檔案中固定位元組數record_bytes的內容。通常用來讀取以二進位制形式儲存的檔案，如CIFAR10資料集就是這種形式。
• tf.data.TFRecordDataset()：顧名思義，這個函式是用來讀TFRecord檔案的，dataset中的每一個元素就是一個TFExample。

其他的Iterator

除了這種one shot iterator外，還有三個更復雜的Iterator，即：
- initializable iterator
- reinitializable iterator
- feedable iterator

initializable iterator

initializable iterator必須要在使用前通過sess.run()來初始化。使用initializable iterator，可以將placeholder代入Iterator中，這可以方便我們通過引數快速定義新的Iterator。一個簡單的initializable iterator使用示例：

limit = tf.placeholder(dtype=tf.int32, shape=[])

dataset = tf.data.Dataset.from_tensor_slices(tf.range(start=0, limit=limit))

iterator = dataset.make_initializable_iterator()
next_element = iterator.get_next()

with tf.Session() as sess:
    sess.run(iterator.initializer, feed_dict={limit: 10})
    for i in range(10):
      value = sess.run(next_element)

使用initializable iterator讀入大規模資料時更為方便。在使用tf.data.Dataset.from_tensor_slices(array)時，實際上發生的事情是將array作為一個tf.constants儲存到了計算圖中。當array很大時，會導致計算圖變得很大，給傳輸、儲存帶來不便。這時，我們可以用一個placeholder取代這裡的array，並使用initializable iterator，只在需要時將array傳進去，這樣就可以避免把大陣列儲存在圖裡，示例程式碼為（來自官方例程）：

with np.load("/var/data/training_data.npy") as data:
  features = data["features"]
  labels = data["labels"]

features_placeholder = tf.placeholder(features.dtype, features.shape)
labels_placeholder = tf.placeholder(labels.dtype, labels.shape)

dataset = tf.data.Dataset.from_tensor_slices((features_placeholder, labels_placeholder))
iterator = dataset.make_initializable_iterator()
sess.run(iterator.initializer, feed_dict={features_placeholder: features,
                                          labels_placeholder: labels})

reinitializable iterator

此iterator可以被不同的資料集重用

# Creates a new, uninitialized Iterator with the given structure
iterator = tf.data.Iterator.from_structure(tf.int64, tf.TensorShape([]))

# The returned iterator is not bound to a particular dataset, 
# and it has no initializer. To initialize the iterator, run the 
# operation returned by Iterator.make_initializer(dataset).
dataset_range = tf.data.Dataset.range(2)
range_initializer = iterator.make_initializer(dataset_range)

dataset_evens = tf.data.Dataset.range(3)
evens_initializer = iterator.make_initializer(dataset_evens)

next_batch = iterator.get_next()


sess = tf.Session()

# Initialize the iterator to `dataset_range`
sess.run(range_initializer)
while True:
    try:
        val = sess.run(next_batch)
        print(val)
    except tf.errors.OutOfRangeError:
        break

print('-------------------')

# Initialize the iterator to `dataset_evens`
sess.run(evens_initializer)
while True:
    try:
        val1 = sess.run(next_batch)
        print(val1)
    except tf.errors.OutOfRangeError:
        break

輸出：

0
1
-------------------
0
1
2