為了記錄在競賽中入門深度學習的過程，我開了一個新系列【從傳統方法到深度學習】。

1. 問題

Kaggle競賽Bag of Words Meets Bags of Popcorn是電影評論（review）的情感分析，可以視作為短文字的二分類問題（正向、負向）。標註資料集長這樣：

id  sentiment   review
"2381_9"    1   "\"The Classic War of the Worlds\" by Timothy Hines is a very entertaining film that obviously goes to great effort and lengths to faithfully recreate H. G. Wells' classic book. Mr. Hines succeeds in doing so. ..."
"2486_3"    0   "What happens when an army of wetbacks, towelheads, and Godless Eastern European commies gather their forces south of the border? Gary Busey kicks their butts, of course. Another laughable example of Reagan-era cultural fallout, Bulletproof wastes a decent supporting cast headed by L Q Jones and Thalmus Rasulala."
 

評價指標是AUC。因此，在測試資料集上應該給出概率而不是類別；即為predict_proba而不是predict：

# random frorest
result = forest.predict_proba(test_data_features)[:, 1]
# not `predict`
result = forest.predict(test_data_features)

採用BoW特徵、RF (random forest)分類器，預測類別的AUC為0.84436，預測概率的AUC則為0.92154。

2. 分析

傳統方法

傳統方法一般會使用到兩種特徵：BoW (bag of words)，n-gram。BoW忽略了詞序，只是單純對詞計數；而n-gram則是考慮到了詞序，比如bigram詞對"dog run"、"run dog"是兩個不同的特徵。BoW可以用CountVectorizer

from sklearn.feature_extraction.text import CountVectorizer

vectorizer = CountVectorizer(analyzer="word", tokenizer=None, preprocessor=None,
                             stop_words=None, max_features=5000)
train_data_features = vectorizer.fit_transform(clean_train_reviews)

在一個句子中，不同的詞重要性是不同的；需要用TFIDF來給詞加權重。n-gram特徵則可以用TfidfVectorizer

from sklearn.feature_extraction.text import TfidfVectorizer

vectorizer = TfidfVectorizer(max_features=40000, ngram_range=(1, 3), sublinear_tf=True)
train_x = vectorizer.fit_transform(clean_train_reviews)

使用unigram、bigram、trigram特徵 + RF分類器，AUC為0.93058；如果改成LR分類器，則AUC為0.96330。

深度學習

競賽tutorial給出用word2vec詞向量特徵來做分類，並兩個生成特徵思路：

• 對每一條評論的所有詞向量求平均，將其平均值作為改評論的特徵；
• 對訓練的詞向量做聚類，然後對評論中的詞類別進行計數，把這種bag-of-centroids作為特徵。

把生成這種特徵餵給分類器，進行分類。但是，這種方法的AUC不是太理想（在0.91左右）。無論是做平均還是聚類，一方面丟失了詞向量的特徵，另一方面忽略了詞序還有詞的重要性。因此，分類效果不如tfidf化的n-gram。

大神Mikolov在推出word2vec之後，又鼓搗出了doc2vec（gensim有實現）。簡單地說，就是可以把一段文字變成一個向量。與word2vec不同的是，引數除了doc對應的詞列表外，還有類別（TaggedDocument)。結果證明doc2vec的效果還不如word2vec生成特徵，AUC只有0.87915。

doc2vec = Doc2Vec(sentences, workers=8, size=300, min_count=40,
                window=10, sample=1e-4)

pangolulu嘗試把BoW與doc2vec做ensemble，採用stacking的思路——L1層BoW特徵做LR分類、doc2vec特徵做RBF-SVM分類，L2層將L1層的預測概率組合成一個新特徵，餵給LR分類器；多次迭代後求平均。ensemble結構圖如下：

以上所有方法的AUC對比如下：

3. 參考資料