1. 寫在前面

在上一講中，我們對於Sklearn框架有了一個較為直觀的認識，但是對於其中的細節部分，可能還是不知甚解。這次，我們將會詳細的介紹其中的一些知識，包括：Sklearn版本注意事項、最基本的評估器與轉換器、fit、transform與fit_transform的區別、pipeline使用，tfidf與CountVectorizer方法等。

2. Sklearn版本注意事項

在網上很多Sklearn的例子，但是很多時候copy下來又執行不了，其實很多時候是因為Sklearn版本不同。機器學習是一個非常活躍的領域，而Sklearn又是一個非常活躍的框架，版本更新迭代速度很快，而且修改比較多，很多時候上一個版本的函式與方法，在下一個版本中就已經不能使用了。大家需要自己去Sklearn官網裡檢視最新的API。另外一點，好在Pycharm裡會提醒，在接下來的版本中可能移除的方法，讓你及時調整程式碼。因此如果出現了網上的示例不能執行的情況，有可能是版本已經更新了。

3. 評估器與轉換器

說到評估器與轉換器，大家可能沒有一個直觀的認識。事實上，基本上大部分的分類器都屬於評估器，這點你可以從分類器的包名可以看到：

這裡面類彙總，第一個為基礎評估器，第二個為基礎分類器，最後一個為基礎轉換器。基本上所有的評估器與轉換器都有三個基本方法,fit,transform,fit_transform。為什麼著重講這個，因為在pipeline中，它的最後一部分為評估器，也就是說最後一步一定是個分類器，而前面的預處理、降維、正則化等都是轉換器。這點我們會在後面講到。

4. fit、transform與fit_transform的區別

其實程式設計師最應去的一個地方就是Stackoverflow，那裡有最權威、最清楚的Bug除錯解決方案。雖然大部分都是英語，但是英語解釋的比較確切。

fit原義指的是安裝、使適合的意思，其實有點train的含義但是和train不同的是，它並不是一個訓練的過程，而是一個適配的過程，過程都是定死的，最後只是得到了一個統一的轉換的規則模型。

transform則指的是轉換.。從可利用資訊的角度來說，轉換分為無資訊轉換和有資訊轉換。無資訊轉換是指不利用任何其他資訊進行轉換，比如指數、對數函式轉換等。有資訊轉換從是否利用目標值向量又可分為無監督轉換和有監督轉換。無監督轉換指只利用特徵的統計資訊的轉換，統計資訊包括均值、標準差、邊界等等，比如標準化、PCA法降維等。有監督轉換指既利用了特徵資訊又利用了目標值資訊的轉換，比如通過模型選擇特徵、LDA法降維等。

而fit_transform方法則是把上述2個過程統一起來，對模型先訓練，然後根據輸入的訓練資料返回一個轉換矩陣。這個過程通常只存在訓練過程中。在Pipeline中尤為明顯。

5. pipeline的使用

給出一幅圖，就可以大致瞭解pipeline的執行方式與流程：

這裡我們可以看到pipeline的最後一步一定是一個分類器，而開始部分可以是一個規約化，中間可以是降維、可以是特徵選取等等一套流程。當然，這裡用的都是包裡自帶的評估器與分類器，如果想自己寫其中的一個過程然後新增到整個pipeline中，還需要繼承基類（第3節講到）後才能新增進去。
具體的使用樣例如下：

from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression

from sklearn.pipeline import Pipeline

pipe_lr = Pipeline([('sc', StandardScaler()),
                    ('pca', PCA(n_components=2)),
                    ('clf', LogisticRegression(random_state=1))
                    ])
pipe_lr.fit(X_train, y_train)
print('Test accuracy: %.3f' % pipe_lr.score(X_test, y_test))

                # Test accuracy: 0.947

6. CountVectorizer()與TfidfTransformer()

在第三節中，我們講到了評估器與轉換器，這2個都是有上面那3個方法，評估器可能還會多一個predict預測這個方法。主要是用來分類的。

同樣的，評估器裡的演算法多為機器學習演算法，而轉換器裡的演算法多為轉換演算法。像TFIDF演算法就是轉換器，它只不過是把一個文件列表轉換為一個TFIDF矩陣，但是如何轉換是有一個模型的，這個模型這個被訓練語料fit後的模型，它同樣可以被用來轉換（transform）測試語料，例如下面這程式碼：

#初始化一個ftidf物件
tfidf=TfidfTransformer();
from sklearn.feature_extraction.text import CountVectorizer
#初始化一個統計詞頻物件
count_vect = CountVectorizer()
#返回的是一個稀疏矩陣
train_data = count_vect.fit_transform(train_data)
#通過稀疏矩陣獲得tfidf矩陣
train_result=tfidf.fit_transform(train_data);
#使用同樣的統計詞頻模型來生成訓練語料的統計詞頻矩陣。
test_data = count_vect.transform(test_data)
#使用同樣的模型對測試語料轉換，可以得到和測試語料同樣的TFIDF矩陣。
test_result=tfidf.transform(test_data);

這裡我們在使用tfidf轉換器的同時需要使用一個統計詞頻轉換器，因為統計詞頻轉換器可以把文章列表轉換為一個詞頻的矩陣，如下表：

但是其實它真實儲存的時候是以稀疏矩陣儲存，也就是隻儲存非0的單元。這樣做其實有2點好處。

1. 節省空間，因為統計詞頻顯然是一個稀疏的矩陣，詞表為列數，而一個文件含有的單詞數非常少。因此只儲存非0的單元節省空間。
2. 利於擴充套件，我們的詞表使用的訓練集訓練的，而如果使用同一轉換器來轉換測試集的時候，即使原有詞表中未包含測試集內的單詞，也很容易擴充套件，只需要在稀疏矩陣後新增一個矩陣單元即可。例如：

(0, 18375) 1
(0, 19325) 1
(0, 39321) 1
(0, 45163) 1
(0, 110448) 1
(0, 22986) 1
(0, 115259) 1
(0, 31639) 1

上邊是第一行的稀疏矩陣，最大的值為115259，也就是說最大的列假設為115259列，如果測試集中出現了一個單詞，這個單詞在前115259個詞都沒出現過，這時候，只需要：

(1,115260) 1

即可，非常容易擴充套件。

這時候，才能使用tfidf轉換器，把這個轉換成相應的tfidf值，因為只有這樣做過了，tfidf轉換器才能方便的轉換。因為這時候，無論是一篇文章的詞總數，還是文件總數，還是出現目標詞的文件數都非常容易的統計出，這樣對於TFIDF公式：

使用tfidf轉換器後，整個稀疏矩陣就成這樣子了：

(0, 31639) 0.350232605058
(0, 115259) 0.287191449938
(0, 22986) 0.325286181826
(0, 110448) 0.38664944433
(0, 45163) 0.399257482535
(0, 39321) 0.308066927057
(0, 19325) 0.350232605058
(0, 18375) 0.403205473668

大家可以看到，與詞頻統計的稀疏矩陣的非0點座標是一致的不同的就是其中的值。

7. 小結

我們這次對於sklearn有了一個更加明確的認識，在此基礎上已經可以做一些特定的實驗了。但是如何進行特徵選擇和最終的實驗評估報告還並未說明，這幾部分將在以後的文章中更新。