修改自 ：http://blog.csdn.net/github_36326955/article/details/54891204

文字分類

摘要

文字分類指按照預先定義的主題類別，為文件集合中的每個文件確定一個類別。這樣使用者不但能夠方便地瀏覽文件，而且可以通過限制搜尋範圍來使文件的查詢更容易、快捷。目前，主要方法有樸素貝葉斯分類（Naive Bayesian Model），向量空間模型（Vector Space Model）以及線性最小二乘LLSF(Linear Least Square Fit)。本文中，使用一個已經分好類的資料集，通過對其中的文章進行分詞，並存入Bunch資料結構，統計詞頻，然後再用

1.文字分類過程

中文語言的文字分類技術和流程，主要包括下面幾個步驟：
1. 預處理：去除文字噪聲資訊，例如HTML標籤，文字格式轉換，檢測句子邊界

2. 中文分詞：使用中文分詞器為文字分詞，並去除停用詞

3. 構建詞向量空間：統計文字詞頻，生成文字的詞向量空間

4. 權重策略——TF-IDF：使用TF-IDF發現特徵詞，並抽取為反映文件主題的特徵

5. 分類：使用演算法訓練分類器，本文使用樸素貝葉斯

6. 評價分類結果

2.資料集

訓練集train_small中包含10個分類，每個分類下有一些txt文字檔案。

同樣，在測試集test_small中也有10個分類的資料集，就是用這些資料來測試模型的好壞。

3.分詞

分詞是將連續的字序列按照一定的規範重新組合成詞序列的過程，中文分詞即將一個漢字序列（句子）切分成一個個獨立的單詞，中文分詞很複雜，從某種程度上並不完全是一個演算法問題，最終概率論解決了這個問題，演算法是基於概率圖模型的條件隨機場（CRF）分詞是自然語言處理中最基本，最底層的模組，分詞精度對後續應用模組的影響很大，文字或句子的結構化表示是語言處理中最核心的任務，目前文字的結構化表示分為四大類：詞向量空間、主體模型、依存句法的樹表示、RDF的圖表示。

由於資料已經相對規整，直接對訓練集和測試集中所有文字中文章進行分詞，並把分好的文章存入各自對應的分詞資料夾。

# -*- coding: utf-8 -*-import osimport jiebadef savefile(savepath, content):    fp = open(savepath,"w",encoding='gb2312',errors='ignore')    fp.write(content)    fp.close()def readfile(path):    fp = open(path,"r",encoding='gb2312',errors='ignore')    content = fp.read()    fp.close()returncontentcorpus_path = "test_small/"  # 未分詞分類預料庫路徑seg_path = "test_seg/"  # 分詞後分類語料庫路徑catelist = os.listdir(corpus_path)  # 獲取改目錄下所有子目錄print(catelist)for mydirin catelist:    class_path = corpus_path + mydir + "/"  # 拼出分類子目錄的路徑seg_dir = seg_path + mydir +"/"  # 拼出分詞後預料分類目錄if notos.path.exists(seg_dir):  # 是否存在，不存在則建立os.makedirs(seg_dir)    file_list = os.listdir(class_path)forfile_path infile_list:        fullname = class_path + file_path        content = readfile(fullname).strip()  # 讀取檔案內容content = content.replace("\r\n","").strip()  # 刪除換行和多餘的空格content_seg = jieba.cut(content)        savefile(seg_dir + file_path, " ".join(content_seg))print("分詞結束")

對於程式碼中corpus_path ="test_small/"和seg_path ="test_seg/"這兩個變數，只要改為訓練集的路徑，就是對訓練集進行分詞。分詞結果：

截止目前，我們已經得到了分詞後的訓練集語料庫和測試集語料庫，下面我們要把這兩個資料集表示為變數，從而為下面程式呼叫提供服務。我們採用的是Scikit-Learn庫中的Bunch資料結構來表示這兩個資料集。用Bunch表示，就是：

from sklearn.datasets.base import Bunch
bunch = Bunch(target_name=[],label=[],filenames=[],contents=[]) 

我們在Bunch物件裡面建立了有4個成員：
target_name：是一個list，存放的是整個資料集的類別集合。
label：是一個list，存放的是所有文字的標籤。
filenames：是一個list，存放的是所有文字檔案的名字。
contents：是一個list，分詞後文本檔案詞向量形式

程式碼如下：

importosimport picklefrom sklearn.datasets.baseimport Bunch#Bunch 類提供了一種key，value的物件形式#target_name 所有分類集的名稱列表#label 每個檔案的分類標籤列表#filenames 檔案路徑#contents 分詞後文件詞向量形式def readfile(path):    fp = open(path,"r",encoding='gb2312',errors='ignore')    content = fp.read()    fp.close()returncontentbunch=Bunch(target_name=[],label=[],filenames=[],contents=[])# wordbag_path="train_word_bag/train_set.dat"# seg_path="train_seg/"wordbag_path="test_word_bag/test_set.dat"#test_word_bag資料夾已經自己建立seg_path="test_seg/"catelist=os.listdir(seg_path)bunch.target_name.extend(catelist)#將類別資訊儲存到Bunch物件for mydirin catelist:    class_path=seg_path+mydir+"/"file_list=os.listdir(class_path)forfile_path infile_list:        fullname=class_path+file_path        bunch.label.append(mydir)#儲存當前檔案的分類標籤bunch.filenames.append(fullname)#儲存當前檔案的檔案路徑bunch.contents.append(readfile(fullname).strip())#儲存檔案詞向量#Bunch物件持久化file_obj=open(wordbag_path,"wb")pickle.dump(bunch,file_obj)file_obj.close()print("構建文字物件結束")

4.構建向量空間和權重策略

由於文字在儲存的向量空間是維度較高，為節省儲存空間和提高搜尋效率，在文字分類之前會自動過濾掉某些字詞，這些字或詞被稱為停用詞，本文使用網上的常用停用詞。

3.1.TF-IDF方法：

如果某個詞或短語在一篇文章中出現的頻率高，並且在其他文章中很少出現，那麼認為這個詞或者短語具有很好的類別區分能力，適合用來分類。

 TF-IDF（Term Frequency-InversDocument Frequency）是一種常用於資訊處理和資料探勘的加權技術。該技術採用一種統計方法，根據字詞的在文字中出現的次數和在整個語料中出現的文件頻率來計算一個字詞在整個語料中的重要程度。它的優點是能過濾掉一些常見的卻無關緊要本的詞語，同時保留影響整個文字的重要字詞。計算方法如下面公式所示：

 其中，式中tfidfi，j表示詞頻tfi,j和倒文字詞頻idfi的乘積。TF-IDF值越大表示該特徵詞對這個文字的重要性越大。

詞頻（TF）：指的是某一個給定的詞語在該檔案中出現的頻率。這個數字是對詞數的歸一化，以防止它偏向長的檔案，對於某一個特定檔案裡的詞語來說，它的重要性可表示為：

分子是該詞在檔案中出現的次數，分母是在檔案中所有字詞的出現次數之和

逆向檔案頻率（IDF）是一個詞語普遍重要性的度量，某一特定詞語的IDF，可以由總檔案數目除以包含該詞語的檔案的數目，再將得到的商取對數：

|D|是語料庫中的檔案總數，j是包含詞語的檔案數目，如果該詞語不在語料庫中，就會導致分母為零，因此一般情況下分母還要額外再加上1。

之後計算詞頻和逆向檔案頻率的乘積，某一特定檔案內的高詞語頻率，以及該詞語在整個檔案集合中的低檔案頻率，可以產生出高權重的TF-IDF，因此TF-IDF傾向於過濾掉常見的詞語，保留重要的詞語。對訓練資料的程式碼如下：

importosfrom sklearn.datasets.baseimport Bunchimport pickle#持久化類from sklearnimport feature_extractionfrom sklearn.feature_extraction.textimport TfidfTransformer#TF-IDF向量轉換類from sklearn.feature_extraction.textimport TfidfVectorizer#TF-IDF向量生成類def readbunchobj(path):    file_obj=open(path,"rb")    bunch=pickle.load(file_obj)    file_obj.close()returnbunchdef writebunchobj(path,bunchobj):    file_obj=open(path,"wb")    pickle.dump(bunchobj,file_obj)    file_obj.close()def readfile(path):    fp = open(path,"r",encoding='gb2312',errors='ignore')    content = fp.read()    fp.close()returncontentpath="train_word_bag/train_set.dat"bunch=readbunchobj(path)#停用詞stopword_path="stop_words.txt"stpwrdlst=readfile(stopword_path).splitlines()#構建TF-IDF詞向量空間物件tfidfspace=Bunch(target_name=bunch.target_name,label=bunch.label,filenames=bunch.filenames,tdm=[],vocabulary={})#使用TfidVectorizer初始化向量空間模型vectorizer=TfidfVectorizer(stop_words=stpwrdlst,sublinear_tf=True,max_df=0.5)transfoemer=TfidfTransformer()#該類會統計每個詞語的TF-IDF權值#文字轉為詞頻矩陣，單獨儲存字典檔案tfidfspace.tdm=vectorizer.fit_transform(bunch.contents)tfidfspace.vocabulary=vectorizer.vocabulary_#建立詞袋的持久化space_path="train_word_bag/tfidfspace.dat"writebunchobj(space_path,tfidfspace)

結果是生成一個訓練集的詞袋。對於測試集生成向量空間，在訓練詞向量模型時需要載入訓練集詞袋，將測試集產生的詞向量對映到訓練集詞袋的詞典中，生成向量空間模型，測試集生成向量空間的程式碼：

importosfrom sklearn.datasets.baseimport Bunchimport pickle#持久化類from sklearnimport feature_extractionfrom sklearn.feature_extraction.textimport TfidfTransformer#TF-IDF向量轉換類from sklearn.feature_extraction.textimport TfidfVectorizer#TF-IDF向量生成類def readbunchobj(path):    file_obj=open(path,"rb")    bunch=pickle.load(file_obj)    file_obj.close()returnbunchdef writebunchobj(path,bunchobj):    file_obj=open(path,"wb")    pickle.dump(bunchobj,file_obj)    file_obj.close()def readfile(path):    fp = open(path,"r",encoding='gb2312',errors='ignore')    content = fp.read()    fp.close()returncontent#匯入分詞後的詞向量bunch物件path="test_word_bag/test_set.dat"bunch=readbunchobj(path)#停用詞stopword_path="stop_words.txt"stpwrdlst=readfile(stopword_path).splitlines()#構建測試集TF-IDF向量空間testspace=Bunch(target_name=bunch.target_name,label=bunch.label,filenames=bunch.filenames,tdm=[],vocabulary={})#匯入訓練集的詞袋trainbunch=readbunchobj("train_word_bag/tfidfspace.dat")#使用TfidfVectorizer初始化向量空間vectorizer=TfidfVectorizer(stop_words=stpwrdlst,sublinear_tf=True,max_df=0.5,vocabulary=trainbunch.vocabulary)transformer=TfidfTransformer();testspace.tdm=vectorizer.fit_transform(bunch.contents)testspace.vocabulary=trainbunch.vocabulary#建立詞袋的持久化space_path="test_word_bag/testspace.dat"writebunchobj(space_path,testspace)

5.分類與評估

5.1分類方法：

KNN演算法原來最簡單，分類精度尚可，但是速度最快支。

樸素貝葉斯演算法對於短文字分類的效果最好，精度很高。

支援向量機演算法的優勢是支援線性不可分的情況，精度上取中。

本文中使用樸素貝葉斯演算法，程式碼如下：

importpicklefrom sklearn.naive_bayesimport MultinomialNB  # 匯入多項式貝葉斯演算法包def readbunchobj(path):    file_obj = open(path,"rb")    bunch = pickle.load(file_obj)    file_obj.close()returnbunch# 匯入訓練集向量空間trainpath = "train_word_bag/tfidfspace.dat"train_set = readbunchobj(trainpath)# d匯入測試集向量空間testpath = "test_word_bag/testspace.dat"test_set = readbunchobj(testpath)# 應用貝葉斯演算法# alpha:0.001 alpha 越小，迭代次數越多，精度越高clf = MultinomialNB(alpha=0.001).fit(train_set.tdm, train_set.label)# 預測分類結果predicted = clf.predict(test_set.tdm)total = len(predicted);rate = 0for flabel, file_name, expct_catein zip(test_set.label, test_set.filenames, predicted):ifflabel != expct_cate:        rate += 1print(file_name,": 實際類別：", flabel,"-->預測分類：", expct_cate)# 精度print("error_rate:",float(rate) *100 /float(total),"%")from sklearnimport metricsdef metrics_result(actual,predict):print("精度：{0:.3f}".format(metrics.precision_score(actual,predict,average='weighted')))print("召回：{0:0.3f}".format(metrics.recall_score(actual,predict,average='weighted')))print("f1-score:{0:.3f}".format(metrics.f1_score(actual,predict,average='weighted')))metrics_result(test_set.label, predicted)

5.2評估

預測結果和實際情況0-1狀態圖

P = True positive/(True positive + False positive)

R = True positive/(True positive + False negative)

F1-Score = (2 * P * R)/(P + R)

在此實驗中，我通過準確率、召回率和F1-Score這三個效能評估方法對最後的結果進行了詳細的分析。結果顯示：

準確率和召回率為0.92，F1-Score為0.918，準確率可以接受。