（一）簡介

1.決策樹是一種基本的分類與迴歸方法，由結點跟有向邊組成；其中結點可以分為內部結點（代表特徵）跟葉結點（代表類別或者回歸預測值）；

2.決策樹模型：從根結點開始，對樣本的某一特徵進行測試，根據測試結果，將樣本分配到其子結點，如此遞迴對樣本進行測試並分配，直至達到葉結點；

3.決策樹模型的學習有3個步驟：特徵選擇，決策樹的生成（區域性最優化過程），決策樹的剪枝（全域性最優化過程）；

4. 決策樹模型的3種經典學習演算法：ID3，C4.5，CART；

5.本博文主要講解ID3跟C4.5演算法，兩者的區別主要在於前者用的是資訊增益來選擇特徵，後者用的是資訊增益比來選擇特徵以及增加對連續值特徵的處理步驟；

PS：ID3與C4.5主要適用於分類問題，CART既適用於分類也適用於迴歸預測問題；

（二）特徵選擇

1.熵的定義：表示隨機變數的不確定性；熵越大，隨機變數的不確定性越大；熵只跟隨機變數的概率分佈有關；

2.資訊增益與資訊增益比

（1）符號簡介

PS：資料集總共有K個類；特徵A有n個取值；絕對值符號表示資料集容量；

（2）資料集D的熵的計算：

（3）已知特徵A求資料集D的熵：

（4）計算特徵A的資訊增益：

（5）資訊增益比的計算：資訊增益除以劃分資訊；劃分資訊定義如下：

（三）決策樹的生成

1.資料集記為D；樣本的特徵集記為A；生成的決策樹記為T；資訊增益閾值記為t；

2.生成演算法：

（1）從根結點開始，資料集D全部分配在根結點；

（2）若D中所有樣本都屬於同一類，則將該類作為該結點的類標記，並返回T；

（3）若A為空集，則將D中樣本數最大的類作為該結點的類標記，並返回T；

（4）計算特徵集A中各特徵對D的資訊增益，選擇資訊增益最大的特徵Ag；如果特徵Ag的資訊增益小於閾值t，那麼將D中樣本數最大的類作為該結點的類標記，並返回T；

（5）依據特徵Ag的每一可能值ai，將D分割為若干個非空子集Di 並將Di中樣本數最大的類作為類標記構建子結點，由結點跟子結點組成樹T，返回T；

（6）對於第 i 個子結點，以Di為訓練集，以A-{Ag}為特徵集，遞迴地呼叫（2）~（5），得到子樹Ti，返回T；

（四）常見問題

1.C4.5比起ID3的改進：

（1）在ID3中用資訊增益選擇特徵時，會偏向於選擇取值多的特徵（不一定是最好的特徵）；而採用資訊增益比，可以削弱這種影響；

（2）增加對連續值特徵的處理步驟，將值排序，然後依次選擇相鄰兩個數的中值進行二元劃分，計算資訊增益比，從而選出最佳劃分點；

2.決策樹的優點：

（1）計算簡單，可解釋性強；

（2）適合處理有缺失屬性值的樣本：空缺值相當於分裂時加多一個分支；

（3）能夠處理不相關的特徵；

3.決策樹的缺點：

（1）容易過擬合；

（2）不適合大樣本資料集：每次分裂都需要遍歷整個樣本；