TensorFlow saved_model 模組
saved_model模組主要用於TensorFlow Serving。TF Serving是一個將訓練好的模型部署至生產環境的系統，主要的優點在於可以保持Server端與API不變的情況下，部署新的演算法或進行試驗，同時還有很高的效能。
保持Server端與API不變有什麼好處呢？有很多好處，我只從我體會的一個方面舉例子說明一下，比如我們需要部署一個文字分類模型，那麼輸入和輸出是可以確定的，輸入文字，輸出各類別的概率或類別標籤。為了得到較好的效果，我們可能想嘗試很多不同的模型，CNN，RNN，RCNN等，這些模型訓練好儲存下來以後，在inference階段需要重新載入這些模型，我們希望的是inference的程式碼有一份就好，也就是使用新模型的時候不需要針對新模型來修改inference的程式碼。這應該如何實現呢？
在TensorFlow 模型儲存/載入的兩種方法中總結過。
1. 僅用Saver來儲存/載入變數。這個方法顯然不行，僅儲存變數就必須在inference的時候重新定義Graph(定義模型)，這樣不同的模型程式碼肯定要修改。即使同一種模型，引數變化了，也需要在程式碼中有所體現，至少需要一個配置檔案來同步，這樣就很繁瑣了。
2. 使用tf.train.import_meta_graph匯入graph資訊並建立Saver， 再使用Saver restore變數。相比第一種，不需要重新定義模型，但是為了從graph中找到輸入輸出的tensor，還是得用graph.get_tensor_by_name()
經過上面的分析發現，要實現inference的程式碼統一，使用原來的方法也是可以的，只不過TensorFlow官方提供了更好的方法，並且這個方法不僅僅是解決這個問題，所以還是得學習使用saved_model這個模組。
saved_model 儲存/載入模型
先列出會用到的API
class tf.saved_model.builder.SavedModelBuilder
# 初始化方法
__init__(export_dir)
# 匯入graph與變數資訊
add_meta_graph_and_variables(
sess,
tags,
signature_def_map=None,
assets_collection=None,
legacy_init_op=None,
clear_devices=False,
main_op=None
)
# 載入儲存好的模型
tf.saved_model.loader.load(
sess,
tags,
export_dir,
**saver_kwargs
)(1) 最簡單的場景，只是儲存/載入模型
儲存
要儲存一個已經訓練好的模型，使用下面三行程式碼就可以了。
builder = tf.saved_model.builder.SavedModelBuilder(saved_model_dir)
builder.add_meta_graph_and_variables(sess, ['tag_string'])
builder.save()首先構造SavedModelBuilder物件，初始化方法只需要傳入用於儲存模型的目錄名，目錄不用預先建立。
add_meta_graph_and_variables方法匯入graph的資訊以及變數，這個方法假設變數都已經初始化好了，對於每個SavedModelBuilder這個方法一定要執行一次用於匯入第一個meta graph。
第一個引數傳入當前的session，包含了graph的結構與所有變數。
第二個引數是給當前需要儲存的meta graph一個標籤，標籤名可以自定義，在之後載入模型的時候，需要根據這個標籤名去查詢對應的MetaGraphDef，找不到就會報如RuntimeError: MetaGraphDef associated with tags 'foo' could not be found in SavedModel這樣的錯。標籤也可以選用系統定義好的引數，如tf.saved_model.tag_constants.SERVING與tf.saved_model.tag_constants.TRAINING。
save方法就是將模型序列化到指定目錄底下。
儲存好以後到saved_model_dir目錄下，會有一個saved_model.pb檔案以及variables資料夾。顧名思義，variables儲存所有變數，saved_model.pb用於儲存模型結構等資訊。
載入
使用tf.saved_model.loader.load方法就可以載入模型。如
meta_graph_def = tf.saved_model.loader.load(sess, ['tag_string'], saved_model_dir)第一個引數就是當前的session，第二個引數是在儲存的時候定義的meta graph的標籤，標籤一致才能找到對應的meta graph。第三個引數就是模型儲存的目錄。
load完以後，也是從sess對應的graph中獲取需要的tensor來inference。如
x = sess.graph.get_tensor_by_name('input_x:0')
y = sess.graph.get_tensor_by_name('predict_y:0')
# 實際的待inference的樣本
_x = ...
sess.run(y, feed_dict={x: _x})這樣和之前的第二種方法一樣，也是要知道tensor的name。那麼如何可以在不知道tensor name的情況下使用呢？ 那就需要給add_meta_graph_and_variables方法傳入第三個引數，signature_def_map。
(2) 使用SignatureDef
相關API
# 構建signature
tf.saved_model.signature_def_utils.build_signature_def(
inputs=None,
outputs=None,
method_name=None
)
# 構建tensor info
tf.saved_model.utils.build_tensor_info(tensor)SignatureDef，將輸入輸出tensor的資訊都進行了封裝，並且給他們一個自定義的別名，所以在構建模型的階段，可以隨便給tensor命名，只要在儲存訓練好的模型的時候，在SignatureDef中給出統一的別名即可。
TensorFlow的關於這部分的例子中用到了不少signature_constants，這些constants的用處主要是提供了一個方便統一的命名。在我們自己理解SignatureDef的作用的時候，可以先不用管這些，遇到需要命名的時候，想怎麼寫怎麼寫。
儲存
假設定義模型輸入的別名為“input_x”，輸出的別名為“output” ，使用SignatureDef的程式碼如下
builder = tf.saved_model.builder.SavedModelBuilder(saved_model_dir)
# x 為輸入tensor, keep_prob為dropout的prob tensor
inputs = {'input_x': tf.saved_model.utils.build_tensor_info(x),
'keep_prob': tf.saved_model.utils.build_tensor_info(keep_prob)}
# y 為最終需要的輸出結果tensor
outputs = {'output' : tf.saved_model.utils.build_tensor_info(y)}
signature = tf.saved_model.signature_def_utils.build_signature_def(inputs, outputs, 'test_sig_name')
builder.add_meta_graph_and_variables(sess, ['test_saved_model'], {'test_signature':signature})
builder.save()上述inputs增加一個keep_prob是為了說明inputs可以有多個， build_tensor_info方法將tensor相關的資訊序列化為TensorInfo protocol buffer。
inputs，outputs都是dict，key是我們約定的輸入輸出別名，value就是對具體tensor包裝得到的TensorInfo。
然後使用build_signature_def方法構建SignatureDef，第三個引數method_name暫時先隨便給一個。
建立好的SignatureDef是用在add_meta_graph_and_variables的第三個引數signature_def_map中，但不是直接傳入SignatureDef物件。事實上signature_def_map接收的是一個dict，key是我們自己命名的signature名稱，value是SignatureDef物件。
載入
載入與使用的程式碼如下
## 略去構建sess的程式碼
signature_key = 'test_signature'
input_key = 'input_x'
output_key = 'output'
meta_graph_def = tf.saved_model.loader.load(sess, ['test_saved_model'], saved_model_dir)
# 從meta_graph_def中取出SignatureDef物件
signature = meta_graph_def.signature_def
# 從signature中找出具體輸入輸出的tensor name
x_tensor_name = signature[signature_key].inputs[input_key].name
y_tensor_name = signature[signature_key].outputs[output_key].name
# 獲取tensor 並inference
x = sess.graph.get_tensor_by_name(x_tensor_name)
y = sess.graph.get_tensor_by_name(y_tensor_name)
# _x 實際輸入待inference的data
sess.run(y, feed_dict={x:_x})從上面兩段程式碼可以知道，我們只需要約定好輸入輸出的別名，在儲存模型的時候使用這些別名建立signature，輸入輸出tensor的具體名稱已經完全隱藏，這就實現建立模型與使用模型的解耦。