• • 發現問題
  • 解決方案

發現問題

最早使用的是0.15 版本的sklearn 後來更換的開發環境，使用了0.17版本，但是出現了無法執行的問題，在一番搜尋之後在stackoverflow上找到了答案

DeprecationWarning: Directsupport for sequence of sequences multilabel representation will be unavailable from version 0.17. Use sklearn.preprocessing.MultiLabelBinarizer to convert to a label indicator representation.

之前的程式碼是這樣寫的，直接使用提取出來的標籤進行fit

cvt = CountVectorizer(tokenizer=self.tokenizer, min_df=4, stop_words=self.stop_words)
self.classifier = Pipeline([('vectorizer', cvt),
                ('clf', OneVsRestClassifier(SGDClassifier(loss='hinge', alpha=1e-5, eta0=0.25, n_iter=50,), n_jobs=12))])

words, tags = self
 
.inputData(self.train_file)
self.classifier.fit(words, tags)
pickle.dump(self.classifier, open("zzz.pickle", 'wb'))

解決方案

使用 MultiLabelBinarizer 先將多標籤進行多標籤二值化，然後將轉換的編碼表儲存下來
然後再使用之前的方式，使用訓練資料對模型進行fit，然後再把真正的模型dump下來，這樣就可以成功運行了。
感覺是sklearn升級時候不再支援使用原始的資料格式進行fit，必須要提前進行多標籤二值化

words, tags_unique, tags_normal = self
 
.inputData(self.train_file)
tags_handled = list(tags_unique)
print "\t".join(tags_handled)
mlb = MultiLabelBinarizer(classes=tags_handled)
tags_train_mlb = mlb.fit_transform(tags_normal)
pickle.dump(mlb, open("mlb_ind.pickle", 'wb'))

# text.CountVectorizer：將文字轉換為每個詞出現的個數的向量
# text.TfidfVectorizer：將文字轉換為tfidf值的向量
# text.HashingVectorizer：文字的特徵雜湊
cvt = CountVectorizer(tokenizer=self.tokenizer, min_df=4, stop_words=self.stop_words)
# OneVsRestClassifier：1 - rest多分類（多標籤）策略
# OneVsOneClassifier：1 - 1 多分類策略
# OutputCodeClassifier：1個類用一個二進位制碼錶示
clf = OneVsRestClassifier(SGDClassifier(loss='hinge', alpha=1e-5, eta0=0.25, n_iter=50, n_jobs=12))

self.classifier = Pipeline([
    ('vectorizer', cvt),
    # ('tfidf', TfidfTransformer()),
    ('clf', clf)])

self.classifier.fit(words, tags_train_mlb)
pickle.dump(self.classifier, open("zzz17.pickle", 'wb'))
print("#### classifier dumped!")

此外有一點需要注意，使用上面訓練的模型進行predict之後，要使用多標籤二值化的編碼表進行反向轉換從而得到真正的計算值

predict = model.predict([company])
mlb = pickle.load(open("mlb_ind.pickle","rb"))
result = mlb.inverse_transform(predict)