一. 背景

多分類是一個機器學習的常見任務，本文將基於復旦大學中文文字分類語料，使用sklearn和xgboost來進行多分類實驗。

預裝軟體包：
1. Jieba分詞：

環境： linux fedora 23 

2. Sklearn： 

3.xgboost:

安裝好後進入到python-package：pythonsetup.py install

二. LCCT程式碼和資料集

1.程式碼

 LCCT  (Learning to Classify Chinese Text)

                   git  clone https://github.com/jaylenzhang/lcct.git

2.資料集

由復旦大學李榮陸提供。fudan_test.json為測試語料，共9833篇文件；fudan_train.json為訓練語料，共9804篇文件，分為20個類別。訓練語料和測試語料基本按照1:1的比例來劃分。本文將訓練和測試資料混合一起進行5折交叉驗證。收集工作花費了不少人力和物力，所以請大家在使用時儘量註明來源（復旦大學計算機資訊與技術系國際資料庫中心自然語言處理小組）

下載資料集後，在當前目錄下建立data目錄，並將檔案解壓。

資料集類別統計

三. 配置檔案

[basic_conf]
work_dir=/home/disk1/zhangzhiming/code/ml/lcct/  # 設定當前工作路徑，需要修改
word_min_count=4 # 文件集中詞頻低於4的將會被去掉
label2clsName=label.clsName #  <0, Art>
id2docName=id.docName  #
word2id=word.id
word2idf=word.idf
tfidf_svm=tfid.svm
 
train_test_dir=train_test_dir
 
[pre_process]
file_tag=classify
json_data=classify.json
wordseg_data=classify.seg
vocab_data=classify.voc
tfidf_data=classify.tfidf
train_test_dir=train_test_dir
train_test_rate=0.5
cross_validation_num=5
 [feature_selection]
is_chi2=0
chi2_best_k=10000

四. 預處理

         cd ./ scripts

         執行： sh ./run_pre_process.sh

         1.分詞。採用結巴分詞。

         2.生成字典。去掉停用詞，過濾掉詞頻小於等於2的詞，生成字典。

         3.計算idf。

         4.計算tf以及tfidf。

         6.生成libsvm資料格式

                  1）重取樣： 以訓練資料最多的類別為取樣上線進行取樣。

五. 分類實驗

         1.分類器

                   選擇了樸素貝葉斯，SGCclassifier，logistic regression random_forest，decision_tree,xgboost 等。

         2.  執行

                   cd./scripts

                   sh   run_train_and_test.sh

         3.實驗結果

                  採用5折交叉驗證

六. 特徵工程

         1.Sklearn常見的特徵工程方法：

         這裡實驗了卡方檢驗，在配置檔案中設定

[feature_selection]
is_chi2=0
chi2_best_k=10000

         2.程式碼：

  卡方檢驗    

 def choose_best_chi2(self,train_x,train_y,test_x):
        ch2 = SelectKBest(chi2, k = self.chi2_best_k)
        train_x_ch2 = ch2.fit_transform(train_x, train_y)
        text_x_ch2 = ch2.transform(test_x)
        return train_x_ch2, text_x_ch2

if self.is_chi2:
                train_x,test_x = self.choose_best_chi2(train_x, train_y,test_x)

         3.實驗結果

參考文獻：

1. 李榮陸王建會陳曉雲陶曉鵬胡運發. "使用最大熵模型進行中文文字分類." 計算機研究與發展42.1 (2005): 94-101.