1. 程式人生 > >儲存tensorflow模型

儲存tensorflow模型

在本教程中,我將會解釋:

  1. TensorFlow模型是什麼樣的?
  2. 如何儲存TensorFlow模型?
  3. 如何恢復預測/轉移學習的TensorFlow模型?
  4. 如何使用匯入的預先訓練的模型進行微調和修改?

這個教程假設你已經對神經網路有了一定的瞭解。如果不瞭解的話請查閱相關資料。

1. 什麼是TensorFlow模型?

訓練了一個神經網路之後,我們希望儲存它以便將來使用。那麼什麼是TensorFlow模型?Tensorflow模型主要包含我們所培訓的網路引數的網路設計或圖形和值。因此,Tensorflow模型有兩個主要的檔案:

a) Meta graph:
     這是一個協議緩衝區,它儲存了完整的Tensorflow圖形;即所有變數、操作、集合等。該檔案以.meta作為副檔名。

b) Checkpoint file:

    這是一個二進位制檔案,它包含了所有的權重、偏差、梯度和其他所有變數的值。這個檔案有一個副檔名.ckpt。然而,Tensorflow從0.11版本中改變了這一點。現在,我們有兩個檔案,而不是單個.ckpt檔案:

  1. mymodel.data-00000-of-00001

  2. mymodel.index

.data檔案是包含我們訓練變數的檔案,我們待會將會使用它。

與此同時,Tensorflow也有一個名為checkpoint的檔案,它只儲存的最新儲存的checkpoint檔案的記錄。

因此,為了總結,對於大於0.10的版本,Tensorflow模型如下:

在0.11之前的Tensorflow模型僅包含三個檔案:

  1. inception_v1.meta

  2. inception_v1.ckpt

  3. checkpoint

現在我們已經知道了Tensorflow模型的樣子,接下來我們來看看TensorFlow是如何儲存模型的。

2. 儲存TensorFlow模型

比方說,你正在訓練一個卷積神經網路來進行影象分類。作為一種標準的練習,你要時刻關注損失和準確率。一旦看到網路已經收斂,我們可以暫停模型的訓練。在完成培訓之後,我們希望將所有的變數和網路結構儲存到一個檔案中,以便將來使用。因此,在Tensorflow中,我們希望儲存所有引數的圖和值,我們將建立一個tf.train.Saver()類的例項。

saver = tf.train.Saver()

請記住,Tensorflow變數僅在會話中存在。因此,您必須在一個會話中儲存模型,呼叫您剛剛建立的save方法。

saver.save(sess, 'my-test-model')

這裡,sess是會話物件,而'my-test-model'是儲存的模型的名稱。讓我們來看一個完整的例子:

  1. import tensorflow as tf

  2. w1 = tf.Variable(tf.random_normal(shape=[2]), name='w1')

  3. w2 = tf.Variable(tf.random_normal(shape=[5]), name='w2')

  4. saver = tf.train.Saver()

  5. sess = tf.Session()

  6. sess.run(tf.global_variables_initializer())

  7. saver.save(sess, 'my_test_model')

  8. # This will save following files in Tensorflow v >= 0.11

  9. # my_test_model.data-00000-of-00001

  10. # my_test_model.index

  11. # my_test_model.meta

  12. # checkpoint

如果我們在1000次迭代之後儲存模型,我們將通過通過global_step來呼叫save:

saver.save(sess, 'my_test_model',global_step=1000)

這將會將'-1000'追加到模型名稱,並建立以下檔案:

  1. my_test_model-1000.index

  2. my_test_model-1000.meta

  3. my_test_model-1000.data-00000-of-00001

  4. checkpoint

比方說,在訓練時,我們在每次1000次迭代後都儲存模型,所以.meta檔案是第一次建立的(在第1000次迭代中),我們不需要每次都重新建立.meta檔案(我們在2000,3000次沒有儲存.meta檔案)。我們僅為進一步的迭代儲存模型,因為圖不會改變。因此,當我們不想儲存meta-graph時,我們用這個:

saver.save(sess, 'my-model', global_step=step,write_meta_graph=False)

如果你希望僅保留4個最新的模型,並且希望在訓練過程中每兩個小時後儲存一個模型,那麼你可以使用max_to_keep和keep_checkpoint_every_n_hours這樣做。

  1. #saves a model every 2 hours and maximum 4 latest models are saved.

  2. saver = tf.train.Saver(max_to_keep=4, keep_checkpoint_every_n_hours=2)

注意,如果我們在tf.train.Saver()中沒有指定任何東西,它將儲存所有的變數。如果,我們不想儲存所有的變數,而只是一些變數。我們可以指定要儲存的變數/集合。在建立tf.train。保護程式例項,我們將它傳遞給我們想要儲存的變數的列表或字典。讓我們來看一個例子:

  1. import tensorflow as tf

  2. w1 = tf.Variable(tf.random_normal(shape=[2]), name='w1')

  3. w2 = tf.Variable(tf.random_normal(shape=[5]), name='w2')

  4. saver = tf.train.Saver([w1,w2])

  5. sess = tf.Session()

  6. sess.run(tf.global_variables_initializer())

  7. saver.save(sess, 'my_test_model',global_step=1000)

這可以用於在需要時儲存特定的Tensorflow圖。

3. 匯入訓練好的模型

如果你想用別人預先訓練好的模型來進行微調,你需要做以下兩件事:

a)建立網路

你可以通過編寫python程式碼建立網路,以手工建立每一層,並將其作為原始模型。但是,如果你考慮一下,我們已經在.meta檔案中儲存了這個網路,我們可以使用tf.train.import()函式來重新建立這個網路:

saver = tf.train.import_meta_graph('my_test_model-1000.meta')

記住,import_meta_graph將在.meta檔案中定義的網路附加到當前圖。因此,這將為你建立圖形/網路,但是我們仍然需要載入我們在這張圖上訓練過的引數的值。

b)載入引數

我們可以通過呼叫這個保護程式的例項來恢復網路的引數,它是tf.train.Saver()類的一個例項。

  1. with tf.Session() as sess:

  2. new_saver = tf.train.import_meta_graph('my_test_model-1000.meta')

  3. new_saver.restore(sess, tf.train.latest_checkpoint('./'))

在此之後,像w1和w2這樣的張量的值已經恢復並且可以被訪問:

  1. with tf.Session() as sess:

  2. saver = tf.train.import_meta_graph('my-model-1000.meta')

  3. saver.restore(sess,tf.train.latest_checkpoint('./'))

  4. print(sess.run('w1:0'))

  5. ##Model has been restored. Above statement will print the saved value of w1

因此,現在你已經瞭解瞭如何為Tensorflow模型儲存和匯入工作。在下一節中,我描述了上面的實際使用,以載入任何預先訓練過的模型。

4.使用匯入的模型

現在你已經瞭解瞭如何儲存和恢復Tensorflow模型,讓我們開發一個實用的例子來恢復任何預先訓練的模型,並使用它進行預測、微調或進一步訓練。當您使用Tensorflow時,你將定義一個圖,該圖是feed examples(訓練資料)和一些超引數(如學習速率、迭代次數等),它是一個標準的過程,我們可以使用佔位符來存放所有的訓練資料和超引數。接下來,讓我們使用佔位符構建一個小網路並儲存它。注意,當網路被儲存時,佔位符的值不會被儲存。

  1. import tensorflow as tf

  2. #Prepare to feed input, i.e. feed_dict and placeholders

  3. w1 = tf.placeholder("float", name="w1")

  4. w2 = tf.placeholder("float", name="w2")

  5. b1= tf.Variable(2.0,name="bias")

  6. feed_dict ={w1:4,w2:8}

  7. #Define a test operation that we will restore

  8. w3 = tf.add(w1,w2)

  9. w4 = tf.multiply(w3,b1,name="op_to_restore")

  10. sess = tf.Session()

  11. sess.run(tf.global_variables_initializer())

  12. #Create a saver object which will save all the variables

  13. saver = tf.train.Saver()

  14. #Run the operation by feeding input

  15. print sess.run(w4,feed_dict)

  16. #Prints 24 which is sum of (w1+w2)*b1

  17. #Now, save the graph

  18. saver.save(sess, 'my_test_model',global_step=1000)

現在,當我們想要恢復它時,我們不僅要恢復圖和權重,還要準備一個新的feed_dict,它將把新的訓練資料輸入到網路中。我們可以通過graph.get_tensor_by_name()方法來引用這些儲存的操作和佔位符變數。

  1. #How to access saved variable/Tensor/placeholders

  2. w1 = graph.get_tensor_by_name("w1:0")

  3. ## How to access saved operation

  4. op_to_restore = graph.get_tensor_by_name("op_to_restore:0")

如果我們只是想用不同的資料執行相同的網路,您可以簡單地通過feed_dict將新資料傳遞給網路。

  1. import tensorflow as tf

  2. sess=tf.Session()

  3. #First let's load meta graph and restore weights

  4. saver = tf.train.import_meta_graph('my_test_model-1000.meta')

  5. saver.restore(sess,tf.train.latest_checkpoint('./'))

  6. # Now, let's access and create placeholders variables and

  7. # create feed-dict to feed new data

  8. graph = tf.get_default_graph()

  9. w1 = graph.get_tensor_by_name("w1:0")

  10. w2 = graph.get_tensor_by_name("w2:0")

  11. feed_dict ={w1:13.0,w2:17.0}

  12. #Now, access the op that you want to run.

  13. op_to_restore = graph.get_tensor_by_name("op_to_restore:0")

  14. print sess.run(op_to_restore,feed_dict)

  15. #This will print 60 which is calculated

  16. #using new values of w1 and w2 and saved value of b1.

如果你希望通過新增更多的層數並對其進行訓練,從而向圖中新增更多的操作,可以這樣做

  1. import tensorflow as tf

  2. sess=tf.Session()

  3. #First let's load meta graph and restore weights

  4. saver = tf.train.import_meta_graph('my_test_model-1000.meta')

  5. saver.restore(sess,tf.train.latest_checkpoint('./'))

  6. # Now, let's access and create placeholders variables and

  7. # create feed-dict to feed new data

  8. graph = tf.get_default_graph()

  9. w1 = graph.get_tensor_by_name("w1:0")

  10. w2 = graph.get_tensor_by_name("w2:0")

  11. feed_dict ={w1:13.0,w2:17.0}

  12. #Now, access the op that you want to run.

  13. op_to_restore = graph.get_tensor_by_name("op_to_restore:0")

  14. #Add more to the current graph

  15. add_on_op = tf.multiply(op_to_restore,2)

  16. print sess.run(add_on_op,feed_dict)

  17. #This will print 120.

但是,你是否可以在之前圖的結構上構建新的網路?當然,您可以通過graph.get_tensor_by_name()方法訪問適當的操作,並在此基礎上構建圖。這是一個真實的例子。在這裡,我們使用元圖載入一個vgg預訓練的網路,並在最後一層中將輸出的數量更改為2,以便對新資料進行微調。

  1. ......

  2. ......

  3. saver = tf.train.import_meta_graph('vgg.meta')

  4. # Access the graph

  5. graph = tf.get_default_graph()

  6. ## Prepare the feed_dict for feeding data for fine-tuning

  7. #Access the appropriate output for fine-tuning

  8. fc7= graph.get_tensor_by_name('fc7:0')

  9. #use this if you only want to change gradients of the last layer

  10. fc7 = tf.stop_gradient(fc7) # It's an identity function

  11. fc7_shape= fc7.get_shape().as_list()

  12. new_outputs=2

  13. weights = tf.Variable(tf.truncated_normal([fc7_shape[3], num_outputs], stddev=0.05))

  14. biases = tf.Variable(tf.constant(0.05, shape=[num_outputs]))

  15. output = tf.matmul(fc7, weights) + biases

  16. pred = tf.nn.softmax(output)

  17. # Now, you run this with fine-tuning data in sess.run()

希望這能讓你清楚地瞭解如何儲存和恢復Tensorflow模型。