restore not found的錯誤(問題2)
最近在寫gan，那麽就牽扯到在一個session中加載兩個圖，restore的時候會有問題。如這篇文章寫的（http://blog.csdn.net/u014659656/article/details/53954793），見文末
所以關鍵就是構造的Saver 最好帶Variable參數，這樣加載第二個圖的時候才不會找不到變量。
這個issue裏寫的比較好：https://github.com/tensorflow/tensorflow/issues/212
最終解決方案：
all_vars = tf.all_variables() model_one_vars = [k for k in all_vars if k.name.startswith(FLAGS.model_one_scope)] model_two_vars = [k for k in all_vars if k.name.startswith(FLAGS.model_two_scope)] j_pq_vars = [k for k in all_vars if k.name.startswith(‘j_pq‘)] tf.train.Saver(model_one_vars).restore(sess, model_one_checkpoint) tf.train.Saver(model_two_vars).restore(sess, model_two_checkpoint) saver = tf.train.Saver(j_pq_vars)
model.py,裏面含有 ModelV 和 ModelP，另外還有 modelP.py 和 modelV.py 分別只含有 ModelP 和 ModeV 這兩個對象，先使用 modelP.py 和 modelV.py 分別訓練好模型，然後再在 model.py 裏加載進來：
# -*- coding: utf8 -*-
import tensorflow as tf
class ModelV():
def __init__(self):
self.v1 = tf.Variable(66, name="v1")
self.v2 = tf.Variable(77, name="v2")
self.save_path = "model_v/model.ckpt"
self.init = tf.global_variables_initializer()
self.saver = tf.train.Saver()
self.sess = tf.Session()
def train(self):
self.sess.run(self.init)
print ‘v2‘, self.v2.eval(self.sess)
self.saver.save(self.sess, self.save_path)
print "ModelV saved."
def predict(self):
all_vars = tf.trainable_variables()
for v in all_vars:
print(v.name)
self.saver.restore(self.sess, self.save_path)
print "ModelV restored."
print ‘v2‘, self.v2.eval(self.sess)
print ‘------------------------------------------------------------------‘
class ModelP():
def __init__(self):
self.p1 = tf.Variable(88, name="p1")
self.p2 = tf.Variable(99, name="p2")
self.save_path = "model_p/model.ckpt"
self.init = tf.global_variables_initializer()
self.saver = tf.train.Saver()
self.sess = tf.Session()
def train(self):
self.sess.run(self.init)
print ‘p2‘, self.p2.eval(self.sess)
self.saver.save(self.sess, self.save_path)
print "ModelP saved."
def predict(self):
all_vars = tf.trainable_variables()
for v in all_vars:
print v.name
self.saver.restore(self.sess, self.save_path)
print "ModelP restored."
print ‘p2‘, self.p2.eval(self.sess)
print ‘---------------------------------------------------------------------‘
if __name__ == ‘__main__‘:
v = ModelV()
p = ModelP()
v.predict()
#v.train()
p.predict()
#p.train()
這裏 tf.global_variables_initializer() 很關鍵！ 盡管你是分別在對象 ModelP 和 ModelV 內部分配和定義的 tf.Variable()，即 v1 v2 和 p1 p2，但是 對 tf 這個模塊而言， 這些都是全局變量，可以通過以下代碼查看所有的變量，你就會發現同一個文件中同時運行 ModelP 和 ModelV 在初始化之後都打印出了一樣的變量，這個是問題的關鍵所在：
all_vars = tf.trainable_variables()
for v in all_vars:
print(v.name)
錯誤。你可以交換 modelP 和 modelV 初始化的順序，看看錯誤信息的變化
v1:0
v2:0
p1:0
p2:0
ModelV restored.
v2 77
v1:0
v2:0
p1:0
p2:0
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key v2 not found in checkpoint
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key v1 not found in checkpoint實際上，分開運行時，模型保存的參數是正確的，因為在一個模型裏的Variable就只有 v1 v2 或者 p1 p2; 但是在一個文件同時運行的時候，模型參數實際上保存的是 v1 v2 p1 p2四個，因為在默認情況下，創建的Saver，會直接保存所有的參數。而 Saver.restore() 又是默認（無Variable參數列表時）按照已經定義好的全局模型變量來加載對應的參數值， 在進行 ModelV.predict時，按照順序（從debug可以看出，應該是按照參數順序一次檢測）在模型文件中查找相應的 key，此時能夠找到對應的v1 v2，加載成功，但是在 ModelP.predict時，在model_p的模型文件中找不到 v1 和 v2，只有 p1 和 p2， 此時就會報錯；不過這裏的 第一次加載 還有 p1 p2 找不到沒有報錯，解釋不通， 未完待續
Saver.save() 和 Saver.restore() 是一對， 分別只保存和加載模型的參數， 但是模型的結構怎麽知道呢? 必須是你定義好了，而且要和保存的模型匹配才能加載；
如果想要在不定義模型的情況下直接加載出模型結構和模型參數值，使用
# 加載 結構，即 模型參數 變量等
new_saver = tf.train.import_meta_graph("model_v/model.ckpt.meta")
print "ModelV construct"
all_vars = tf.trainable_variables()
for v in all_vars:
print v.name
#print v.name,v.eval(self.sess) # v 都還未初始化，不能求值
# 加載模型 參數變量 的 值
new_saver.restore(self.sess, tf.train.latest_checkpoint(‘model_v/‘))
print "ModelV restored."
all_vars = tf.trainable_variables()
for v in all_vars:
print v.name,v.eval(self.sess)
加載 結構，即 模型參數 變量等完成後，就會有變量了，但是不能訪問他的值，因為還未賦值，然後再restore一次即可得到值了
那麽上述錯誤的解決方法就是這個改進版本的model.py；其實 tf.train.Saver 是可以帶參數的，他可以保存你想要保存的模型參數，如果不帶參數，很可能就會保存 tf.trainable_variables() 所有的variable，而 tf.trainable_variables()又是從 tf 全局得到的，因此只要在模型保存和加載時，構造對應的帶參數的tf.train.Saver即可，這樣就會保存和加載正確的模型了
# -*- coding: utf8 -*-
import tensorflow as tf
class ModelV():
def __init__(self):
self.v1 = tf.Variable(66, name="v1")
self.v2 = tf.Variable(77, name="v2")
self.save_path = "model_v/model.ckpt"
self.init = tf.global_variables_initializer()
self.sess = tf.Session()
def train(self):
saver = tf.train.Saver([self.v1, self.v2])
self.sess.run(self.init)
print ‘v2‘, self.v2.eval(self.sess)
saver.save(self.sess, self.save_path)
print "ModelV saved."
def predict(self):
saver = tf.train.Saver([self.v1, self.v2])
all_vars = tf.trainable_variables()
for v in all_vars:
print v.name
v_vars = [v for v in all_vars if v.name == ‘v1:0‘ or v.name == ‘v2:0‘]
print "ModelV restored."
saver.restore(self.sess, self.save_path)
for v in v_vars:
print v.name,v.eval(self.sess)
print ‘v2‘, self.v2.eval(self.sess)
print ‘------------------------------------------------------------------‘
class ModelP():
def __init__(self):
self.p1 = tf.Variable(88, name="p1")
self.p2 = tf.Variable(99, name="p2")
self.save_path = "model_p/model.ckpt"
self.init = tf.global_variables_initializer()
self.sess = tf.Session()
def train(self):
saver = tf.train.Saver([self.p1, self.p2])
self.sess.run(self.init)
print ‘p2‘, self.p2.eval(self.sess)
saver.save(self.sess, self.save_path)
print "ModelP saved."
def predict(self):
saver = tf.train.Saver([self.p1, self.p2])
all_vars = tf.trainable_variables()
p_vars = [v for v in all_vars if v.name == ‘p1:0‘ or v.name == ‘p2:0‘]
for v in all_vars:
print v.name
#print v.name,v.eval(self.sess)
saver.restore(self.sess, self.save_path)
print "ModelP restored."
for p in p_vars:
print p.name,p.eval(self.sess)
print ‘p2‘, self.p2.eval(self.sess)
print ‘----------------------------------------------------------‘
if __name__ == ‘__main__‘:
v = ModelV()
p = ModelP()
v.predict()
#v.train()
p.predict()
#p.train()
小結： 構造的Saver 最好帶Variable參數，這樣保證 保存和加載能夠正確執行
restore not found的錯誤(問題2)