1、相關庫：

sklearn中分類樹與回歸樹用到的類不同，對於分類樹：sklearn.tree.DecisionTreeClassifier；對於回歸樹：sklearn.tree.DecisionTreeRegressor。

兩者的參數區別如下表（搬運於https://www.cnblogs.com/pinard/p/6056319.html）：

除了這些參數要註意以外，其他在調參時的註意點有：

　　　　1）當樣本少數量但是樣本特征非常多的時候，決策樹很容易過擬合，一般來說，樣本數比特征數多一些會比較容易建立健壯的模型

　　　　2）如果樣本數量少但是樣本特征非常多，在擬合決策樹模型前，推薦先做維度規約，比如主成分分析（PCA），特征選擇（Losso）或者獨立成分分析（ICA）。這樣特征的維度會大大減小。再來擬合決策樹模型效果會好。

　　　　3）推薦多用決策樹的可視化（下節會講），同時先限制決策樹的深度（比如最多3層），這樣可以先觀察下生成的決策樹裏數據的初步擬合情況，然後再決定是否要增加深度。

　　　　4）在訓練模型先，註意觀察樣本的類別情況（主要指分類樹），如果類別分布非常不均勻，就要考慮用class_weight來限制模型過於偏向樣本多的類別。

　　　　5）決策樹的數組使用的是numpy的float32類型，如果訓練數據不是這樣的格式，算法會先做copy再運行。

　　　　6）如果輸入的樣本矩陣是稀疏的，推薦在擬合前調用csc_matrix稀疏化，在預測前調用csr_matrix稀疏化。

2、關於可視化

sklearn需要用到graphviz這個軟件來進行可視化，比較麻煩，需要搭建相關的環境，搭建方式如下：

1、安裝graphviz。下載地址在：http://www.graphviz.org/，下載2.38的msi，安裝完成之後要設置PATH，我的是D:/Graphviz2.38/bin/，將其加入到PATH。

2、安裝庫pip install graphviz，pip install pydotplus。

3、實例代碼：

import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import confusion_matrix,accuracy_score
from sklearn import tree
import pydotplus
import os

os.environ["PATH"] += os.pathsep + ‘F:\\Graphviz2.38\\bin‘  #設定環境在可視化軟件的bin下
iris_load=load_iris()
x_train,x_test,y_train,y_test=train_test_split(iris_load[‘data‘],iris_load[‘target‘],test_size=0.3,random_state=1)   #劃分數據集為測試集與訓練集
dtree=DecisionTreeClassifier(criterion=‘gini‘)   #創建分類決策樹類
dtree.fit(x_train,y_train)   #擬合模型
dtree.predict(x_test)    #測試集預測
confusion_matrix(y_test,dtree.predict(x_test))   #查看混淆矩陣
accuracy_score(y_test,dtree.predict(x_test))     #計算精確度

dot_data = tree.export_graphviz(dtree, out_file=None)   #生成dot數據
graph = pydotplus.graph_from_dot_data(dot_data)     #將dot數據轉化為圖形
graph.write_pdf("C:\\Users\\daiyun\\Desktop\\iris.pdf")     #需要用到Graphviz軟件，所以之前要先os.environ

代碼說明：

1、os庫用來限定安裝的Graphviz2.38的環境PATH，雖然之前有設置環境，但是python可能仍然查找不到Graphviz2.38。

2、函數tree.export_graphviz(dtree)用來輸出一個dot_data類型的string數據。其參數可以設置顯示的分類名稱、顏色等，這裏未設置，詳情請查看說明文檔：https://scikit-learn.org/stable/modules/generated/sklearn.tree.export_graphviz.html#sklearn.tree.export_graphviz

3、函數pydotplus.graph_from_dot_data(dot_data)將dot_data的string數據轉換成圖形。

4、函數graph.write_pdf("C:\\Users\\daiyun\\Desktop\\iris.pdf") ，用於輸出pdf文件。

sklearn——決策樹