顧名思義，決策樹是基於樹結構進行決策。

1.ID3決策樹

以最大化資訊增益為準則來選擇劃分屬性。
假設離散屬性a上有V個可能的取值$\{a^1,...,a^V\}$，若使用a對樣本集D進行劃分，則會產生V個分支節點。其中第v個分支節點包含了D中所有在屬性a上取值為$a^v$的樣本，記為$D^v$。
$max \quad Gain(D,a)=Entropy(D)-Entropy(D|a) =Entropy(D)-\sum_{v=1}^V\frac{|D^v|}{|D|}Entropy(D^v)$

2.C4.5決策樹

資訊增益準則對取值數目較多的屬性有所偏好，為了減少這種偏好可能帶來的不利影響，C4.5決策樹以最大化資訊增益率為準則來選擇劃分屬性。資訊增益率代表單位代價所取得的資訊量。$max \quad Gain\_ratio(D,a)=\frac{Gain(D,a)}{Entropy(D,a)}=\frac{Gain(D,a)}{-\sum_{v=1}^V\frac{|D^v|}{|D|}log\frac{|D^v|}{|D|}}$

3.CART決策樹

以最小化基尼指數為準則來選擇劃分屬性。
$min \quad Gini\_index(D,a)=\frac{|D^L|}{|D|}Gini(D^L)+\frac{|D^R|}{|D|}Gini(D^R)$
基尼值=樣本被選中的概率*樣本被分錯的概率，基尼值越小則D的純度越高。
$Gini(D)=\sum_{k=1}^Kp_k(1-p_k)=1-\sum_{k=1}^Kp_k^2$
【例題】：

4.剪枝處理

• 預剪枝
  事先給定閾值，使得很多分支沒有展開，從而降低過擬合的風險
• 後剪枝
  對多種不同的剪枝結果進行評價，選出最好的剪枝形式，評價方法是在訓練誤差和模型複雜度之間尋找一個平衡點。

5.特殊情況

• 連續變數：離散化處理（最簡單：二分法，取中位點作為候選劃分點）
• 缺失值：對每個樣本賦予一個權重，推廣資訊增益公式