機器學習實戰系列:sklearn 中模型儲存的兩種方法
阿新 • • 發佈:2018-12-14
一、 sklearn中提供了高效的模型持久化模組joblib,將模型儲存至硬碟。
from sklearn.externals import joblib
#lr是一個LogisticRegression模型
joblib.dump(lr, 'lr.model')
lr = joblib.load('lr.model')
連結:https://www.zhihu.com/question/27187105/answer/55895472
二、pickle
>>> from sklearn import svm >>> from sklearn import datasets >>> clf = svm.SVC() >>> iris = datasets.load_iris() >>> X, y = iris.data, iris.target >>> clf.fit(X, y) SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape=None, degree=3, gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) >>> import pickle >>> s = pickle.dumps(clf) >>> clf2 = pickle.loads(s) >>> clf2.predict(X[0:1]) array([0]) >>> y[0] 0 或者 :
>>> from sklearn.externals import joblib
>>> joblib.dump(clf, 'filename.pkl')
>>> clf = joblib.load('filename.pkl')
兩種儲存Model的模組pickle
與joblib
。
使用 pickle 儲存
首先簡單建立與訓練一個SVC
Model。
from sklearn import svm from sklearn import datasets clf = svm.SVC() iris = datasets.load_iris() X, y = iris.data, iris.target clf.fit(X,y) ==========================================================================================================
使用pickle
來儲存與讀取訓練好的Model。 (若忘記什麼是pickle
,可以回顧13.8 pickle 儲存資料視訊。)
import pickle #pickle模組 #儲存Model(注:save資料夾要預先建立,否則會報錯) with open('save/clf.pickle', 'wb') as f: pickle.dump(clf, f) #讀取Model with open('save/clf.pickle', 'rb') as f: clf2 = pickle.load(f) #測試讀取後的Model print(clf2.predict(X[0:1])) ==========================================================================================================
使用 joblib 儲存
joblib
是sklearn
的外部模組。
from sklearn.externals import joblib #jbolib模組
#儲存Model(注:save資料夾要預先建立,否則會報錯)
joblib.dump(clf, 'save/clf.pkl')
#讀取Model
clf3 = joblib.load('save/clf.pkl')
#測試讀取後的Model
print(clf3.predict(X[0:1]))
# [0]
最後可以知道joblib
在使用上比較容易,讀取速度也相對pickle
快。
===================================================================== 連結:https://www.zhihu.com/question/27187105/answer/97334347
https://morvanzhou.github.io/tutorials/machine-learning/sklearn/3-5-save/