theano學習之模型的儲存和提取
阿新 • • 發佈:2018-12-28
今天學習如何儲存神經網路,以方便日後可以直接提取使用。
儲存的方式是我們可以先把神經網路的引數,比如說 weights 還有 bias 儲存起來,再重新定義神經網路的結構,使用模型的時候需要把引數 set 到結構中去。
儲存和提取的方法是利用 shared 變數的 get 功能,拿出變數值儲存到檔案中去, 下一次再定義 weights 和 bias 的時候,可以直接把儲存好的值放到 shared variable 中去。
本文以 Classification 分類學習 那節的程式碼為例。
import numpy as np import theano import theano.tensor as T import pickle #該模組用來儲存檔案 #---------------------模型-------------------------# def compute_accuracy(y_target, y_predict): correct_prediction = np.equal(y_predict, y_target) accuracy = np.sum(correct_prediction)/len(correct_prediction) return accuracy rng = np.random # set random seed np.random.seed(100) N = 400 feats = 784 # generate a dataset: D = (input_values, target_class) D = (rng.randn(N, feats), rng.randint(size=N, low=0, high=2)) # Declare Theano symbolic variables x = T.dmatrix("x") y = T.dvector("y") # initialize the weights and biases w = theano.shared(rng.randn(feats), name="w") b = theano.shared(0., name="b") # Construct Theano expression graph p_1 = 1 / (1 + T.exp(-T.dot(x, w) - b)) prediction = p_1 > 0.5 xent = -y * T.log(p_1) - (1-y) * T.log(1-p_1) cost = xent.mean() + 0.01 * (w ** 2).sum() gw, gb = T.grad(cost, [w, b]) # Compile learning_rate = 0.1 train = theano.function( inputs=[x, y], updates=((w, w - learning_rate * gw), (b, b - learning_rate * gb))) predict = theano.function(inputs=[x], outputs=prediction) # Training for i in range(500): train(D[0], D[1]) #把所有的引數放入 save 資料夾中,命名檔案為 model.pickle,以 wb 的形式開啟並把引數寫入進去。 #定義 model=[] 用來儲存 weights 和 bias,這裡用的是 list 結構儲存,也可以用字典結構儲存,提取值時用 get_value() 命令。 #再用 pickle.dump 把 model 儲存在 file 中。 #可以通過 print(model[0][:10]) 打印出儲存的 weights 的前 10 個數,方便後面提取模型時檢查是否儲存成功。還可以列印 accuracy 看準確率是否一樣。 #儲存模型 with open('data/model.pickle', 'wb') as file: model = [w.get_value(), b.get_value()] pickle.dump(model, file) print(model[0][:10]) print("accuracy:", compute_accuracy(D[1], predict(D[0]))) #提取模型 #接下來提取模型時,提前把程式碼中 # Training 和 # save model 兩部分註釋掉,即相當於只是通過 建立資料-建立模型-啟用模型 構建好了新的模型結構,下面要通過呼叫存好的引數來進行預測。 #以 rb 的形式讀取 model.pickle 檔案載入到 model 變數中去,然後用 set_value 命令把 model 的第 0 位存進 w,第 1 位存進 b 中。同樣可以打印出 weights 的前 10 位和 accuracy,來對比之前的結果,可以發現結果完全一樣。 with open('data/model.pickle','rb')as file: model = pickle.load(file) w.set_value(model[0]) b.set_value(model[1]) print(w.get_value()[:10]) print("accuracy:", compute_accuracy(D[1], predict(D[0])))
結果: