一：基本介紹
決策樹模型就是為了求出一系列規則，按照規則劃分資料，得到預測結果。可以把決策樹看做有決策塊和終止塊組成，如下圖：

上圖圖是女孩對是否與男生見面的決策過程，典型的分類樹決策。相當於通過年齡、長相、收入和是否公務員對將男人分為兩個類別：見和不見。假設這個女孩對男人的要求是：30歲以下、長相中等以上並且是高收入者或中等以上收入的公務員，那麼這個可以用下圖表示女孩的決策邏輯。
二：為什麼需要決策樹
那麼在處理資料問題中我們為什麼會選用決策樹模型？
下面介紹決策樹的優點：
1、決策樹易於理解和解釋.人們在通過解釋後都有能力去理解決策樹所表達的意義。
2、 對於決策樹，資料的準備往往是簡單或者是不必要的.其他的技術往往要求先把資料一般化，比如去掉多餘的或者空白的屬性。
3、 能夠同時處理資料型和常規型屬性。其他的技術往往要求資料屬性的單一。
4、 決策樹是一個白盒模型。如果給定一個觀察的模型，那麼根據所產生的決策樹很容易推出相應的邏輯表示式。
5、 易於通過靜態測試來對模型進行評測。表示有可能測量該模型的可信度。
6、 在相對短的時間內能夠對大型資料來源做出可行且效果良好的結果。
7、 可以對有許多屬性的資料集構造決策樹。
8、決策樹可很好地擴充套件到大型資料庫中，同時它的大小獨立於資料庫的大小。
三、決策樹建模過程及常用模型
決策樹的工作過程一般可以分為三步：
1、特徵選擇
2、決策樹生成
3、剪枝
下面結合具體的幾個決策樹模型來鞏固掌握的知識：
1、ID3:
根據資訊增益進行特徵選擇，這就涉及到資訊熵的概念，資訊熵描述的是資料的混亂程度，資訊增益描述的加入特徵後資料混亂程度的減小程度，所以資訊增益的值等於資訊熵減去條件熵的值。

】
每一步選擇資訊增益最大的特徵作為決策塊，最終生成決策樹。
ID3模型沒有剪枝部分。
2、C4.5
C4.5是對ID3的改進,ID3只可以處理標稱型資料，沒有剪枝過程容易過擬合。C4.5的特徵選擇依據資訊增益率進行，

每次選擇資訊增益率最高的特徵作為決策塊。
C4.5的剪枝可以根據最小化損失函式策略進行。
3、cart樹
cart（classification and regression tree）分類迴歸樹，同樣有特徵選擇、樹的生成和剪枝。當cart為迴歸樹時，特徵選擇按照最小化誤差平方和進行，選擇使誤差平方和最小的特徵作為切分點，以此規則不斷生成樹。當cart為分類樹時，按照基尼指數進行特徵選擇，公式如下：

在樹的生成過程中，在所有可能的特徵A以及它們所有可能的切分點a中選擇基尼係數最小的特徵及其對應的切分點作為最優特徵與最優切分點。
對於cart樹的剪枝，cart剪枝演算法從“完全生長”的決策樹的底端減去一些子樹，使決策樹變小，從而能夠對未知資料有更準確的預測。cart剪枝演算法由兩步組成：首先從生成演算法產生的決策樹底端開始不斷剪枝，直到根節點，形成一個子樹序列；然後通過交叉驗證法在獨立的驗證資料集上對子樹序列進行驗證，從中選擇最優子樹。
四、決策樹的不足
決策樹的缺點：
1、 對於那些各類別樣本數量不一致的資料，在決策樹當中,資訊增益的結果偏向於那些具有更多數值的特徵。
2、決策樹處理缺失資料時的困難。
3、過度擬合問題的出現。
4、忽略資料集中屬性之間的相關性。