之前對決策樹的演算法原理做了總結，包括決策樹演算法原理(上)和決策樹演算法原理(下)。今天就從實踐的角度來介紹決策樹演算法，主要是講解使用scikit-learn來跑決策樹演算法，結果的視覺化以及一些引數調參的關鍵點。

1. scikit-learn決策樹演算法類庫介紹

　　　　scikit-learn決策樹演算法類庫內部實現是使用了調優過的CART樹演算法，既可以做分類，又可以做迴歸。分類決策樹的類對應的是DecisionTreeClassifier，而回歸決策樹的類對應的是DecisionTreeRegressor。兩者的引數定義幾乎完全相同，但是意義不全相同。下面就對DecisionTreeClassifier和DecisionTreeRegressor的重要引數做一個總結，重點比較兩者引數使用的不同點和調參的注意點。

2. DecisionTreeClassifier和DecisionTreeClassifier 重要引數調參注意點

　　　　為了便於比較，這裡我們用表格的形式對DecisionTreeClassifier和DecisionTreeRegressor重要引數要點做一個比較。

　　　　除了這些引數要注意以外，其他在調參時的注意點有：

　　　　1）當樣本少數量但是樣本特徵非常多的時候，決策樹很容易過擬合，一般來說，樣本數比特徵數多一些會比較容易建立健壯的模型

　　　　2）如果樣本數量少但是樣本特徵非常多，在擬合決策樹模型前，推薦先做維度規約，比如主成分分析（PCA），特徵選擇（Losso）或者獨立成分分析（ICA）。這樣特徵的維度會大大減小。再來擬合決策樹模型效果會好。

　　　　3）推薦多用決策樹的視覺化（下節會講），同時先限制決策樹的深度（比如最多3層），這樣可以先觀察下生成的決策樹裡資料的初步擬合情況，然後再決定是否要增加深度。

　　　　4）在訓練模型先，注意觀察樣本的類別情況（主要指分類樹），如果類別分佈非常不均勻，就要考慮用class_weight來限制模型過於偏向樣本多的類別。

　　　　5）決策樹的陣列使用的是numpy的float32型別，如果訓練資料不是這樣的格式，演算法會先做copy再執行。

　　　　6）如果輸入的樣本矩陣是稀疏的，推薦在擬合前呼叫csc_matrix稀疏化，在預測前呼叫csr_matrix稀疏化。

3. scikit-learn決策樹結果的視覺化　

　　　　決策樹視覺化化可以方便我們直觀的觀察模型，以及發現模型中的問題。這裡介紹下scikit-learn中決策樹的視覺化方法。

　　　　完整程式碼見我的github: https://github.com/ljpzzz/machinelearning/blob/master/classic-machine-learning/decision_tree_classifier.ipynb

3.1 決策樹視覺化環境搭建

　　　　scikit-learn中決策樹的視覺化一般需要安裝graphviz。主要包括graphviz的安裝和python的graphviz外掛的安裝。

　　　　第一步是安裝graphviz。下載地址在：http://www.graphviz.org/。如果你是linux，可以用apt-get或者yum的方法安裝。如果是windows，就在官網下載msi檔案安裝。無論是linux還是windows，裝完後都要設定環境變數，將graphviz的bin目錄加到PATH，比如我是windows，將C:/Program Files (x86)/Graphviz2.38/bin/加入了PATH

　　　　第二步是安裝python外掛graphviz： pip install graphviz

　　　　第三步是安裝python外掛pydotplus。這個沒有什麼好說的: pip install pydotplus

　　　　這樣環境就搭好了，有時候python會很笨，仍然找不到graphviz，這時，可以在程式碼裡面加入這一行：

　　　　os.environ["PATH"] += os.pathsep + 'C:/Program Files (x86)/Graphviz2.38/bin/'

　　　　注意後面的路徑是你自己的graphviz的bin目錄。

3.2 決策樹視覺化的三種方法

　　　　這裡我們有一個例子講解決策樹視覺化。

　　　　首先載入類庫：

from sklearn.datasets import load_iris
from sklearn import tree
import sys
import os       
os.environ["PATH"] += os.pathsep + 'C:/Program Files (x86)/Graphviz2.38/bin/'

　　　　接著載入sciki-learn的自帶資料，有決策樹擬合，得到模型：

iris = load_iris()
clf = tree.DecisionTreeClassifier()
clf = clf.fit(iris.data, iris.target)

　　　　現在可以將模型存入dot檔案iris.dot。

with open("iris.dot", 'w') as f:
    f = tree.export_graphviz(clf, out_file=f)

　　　　這時候我們有3種視覺化方法，第一種是用graphviz的dot命令生成決策樹的視覺化檔案，敲完這個命令後當前目錄就可以看到決策樹的視覺化檔案iris.pdf.開啟可以看到決策樹的模型圖。

#注意，這個命令在命令列執行
dot -Tpdf iris.dot -o iris.pdf

　　　　第二種方法是用pydotplus生成iris.pdf。這樣就不用再命令列去專門生成pdf檔案了。

import pydotplus 
dot_data = tree.export_graphviz(clf, out_file=None) 
graph = pydotplus.graph_from_dot_data(dot_data) 
graph.write_pdf("iris.pdf") 

　　　　第三種辦法是個人比較推薦的做法，因為這樣可以直接把圖產生在ipython的notebook。程式碼如下：

from IPython.display import Image  
dot_data = tree.export_graphviz(clf, out_file=None, 
                         feature_names=iris.feature_names,  
                         class_names=iris.target_names,  
                         filled=True, rounded=True,  
                         special_characters=True)  
graph = pydotplus.graph_from_dot_data(dot_data)  
Image(graph.create_png()) 

　　　　在ipython的notebook生成的圖如下：

4. DecisionTreeClassifier例項

　　　　這裡給一個限制決策樹層數為4的DecisionTreeClassifier例子。

　　　　完整程式碼見我的github: https://github.com/ljpzzz/machinelearning/blob/master/classic-machine-learning/decision_tree_classifier_1.ipynb

from itertools import product

import numpy as np
import matplotlib.pyplot as plt

from sklearn import datasets
from sklearn.tree import DecisionTreeClassifier


# 仍然使用自帶的iris資料
iris = datasets.load_iris()
X = iris.data[:, [0, 2]]
y = iris.target

# 訓練模型，限制樹的最大深度4
clf = DecisionTreeClassifier(max_depth=4)
#擬合模型
clf.fit(X, y)


# 畫圖
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.1),
                     np.arange(y_min, y_max, 0.1))

Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

plt.contourf(xx, yy, Z, alpha=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, alpha=0.8)
plt.show()

　　　　得到的圖如下：

　　　　接著我們視覺化我們的決策樹，使用了推薦的第三種方法。程式碼如下：

from IPython.display import Image  
from sklearn import tree
import pydotplus 
dot_data = tree.export_graphviz(clf, out_file=None, 
                         feature_names=iris.feature_names,  
                         class_names=iris.target_names,  
                         filled=True, rounded=True,  
                         special_characters=True)  
graph = pydotplus.graph_from_dot_data(dot_data)  
Image(graph.create_png()) 

　　　　生成的決策樹圖如下：

　　　　以上就是scikit-learn決策樹演算法使用的一個總結，希望可以幫到大家。

（歡迎轉載，轉載請註明出處。歡迎溝通交流： [email protected]）