1. 理論

1. 概述：

   決策樹的內部節點表示一個特徵或屬性，葉子節點表示一個類別。輸入一個新樣本，從根節點開始按照節點說示的特徵劃分，直到劃分到葉子節點，該葉子節點即為類別。

2. 關於熵的基礎知識

   熵：定義式如下，衡量隨機變數X的不確定性，也可以用於衡量一個集合的混亂度。

   

   條件熵：H(Y|X)表示在已知隨機變數X的條件下隨機變數Y的不確定性，也可以理解為集合按照特徵X劃分以後的混亂度。

   

   資訊增益：表示在得知X的資訊而使得Y的資訊的不確定性減少的程度, 也就是按照特徵X劃分以後的混亂度。

   g(Y,X) = H(Y) - H(Y|X)

3. 關於決策樹

   決策樹用好的話是一個很好的分類演算法，還可以歸納出一組劃分規則。但是決策樹對資料的預處理要求較高，最好能夠提前進行特徵降維，選取關鍵特徵。如果決策樹過擬合，還需要用剪枝演算法進行剪枝。當然，除了用熵，還有一個衡量集合混亂度的指標是基尼不純度(gini)

2. 演算法

1. 學習演算法

   ID3演算法

   從根結點開始，對訓練集計算所有特徵的資訊增益，選取資訊增益最大的特徵作為該節點的分類特徵，按照該特徵劃分建立子節點。再對子節點遞迴呼叫以上步驟，知道所有特徵的資訊增益小於設定值e或者沒有特徵可以選取為止。決策樹構建完畢。
   

   C4.5演算法

   使用資訊增益劃分存在偏向於選擇取值較多特徵的問題。C4.5與ID3演算法相同，只是將資訊增益換成資訊增益比。
   
   gr(Y,X)=g(Y,X)/H(X)
   

2. 剪枝演算法

   確定一個函式作為剪枝的指標（例如選用代價函式），嘗試將一組葉子節點退縮回到父節點，如果退回後的指標優於退回前，者進行退回。剪枝的演算法和指標很多，這裡不做討論。

3. 實現

1. scikit-learn:

   示例：

       #Import Library
       #Import other necessary libraries like pandas, numpy...
       from sklearn import tree
       #Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset
       # Create tree object
       model = tree.DecisionTreeClassifier(criterion='gini'
    
   ) # for classification, here you can change the algorithm as gini or entropy (information gain) by default it is gini
       # model = tree.DecisionTreeRegressor() for regression
       # Train the model using the training sets and check score
       model.fit(X, y)
       model.score(X, y)
       #Predict Output
       predicted= model.predict(x_test)

4. 擴充套件

決策樹還有一個同根的演算法，稱為迴歸樹(CART)，可以用來做迴歸。決策樹與迴歸樹的界限不是很明顯，有人經常把這兩個概念混用。我喜歡把用來分類的樹稱為決策樹，用於迴歸的樹稱做迴歸樹。

參考：

[1]《統計學習方法》 李航 2012年3月第一版
[2]《機器學習實戰》 Peter Harrington