決策樹的剪枝：

將過於細分的葉結點剪去，使其回退到父結點甚至更高結點，然後將父結點或更高結點變為新的葉結點，將樹變得簡單，具有更好的泛化能力

決策樹的學習演算法包括特徵選擇、決策樹的生成、決策樹的剪枝過程；其中決策樹的生成對應於模型的區域性選擇，決策樹的剪枝對應於模型的全域性選擇；即決策樹的生成考慮區域性最優，決策樹的剪枝考慮全域性最優

特徵選擇：

特徵選擇是選取對訓練資料具有分類能力的特徵（如果某一特徵對分類的結果與隨機分類的結果沒有很大差別，則稱這個特徵是沒有分類能力的）

下面引入一個例子：

資訊增益：

首先我們來看一下熵與條件熵的概念：


當熵和條件熵中的概率由資料估計（特別是極大似然估計）得到時，相應的稱為經驗熵與經驗條件熵

資訊增益：“增”即是增加特徵值X的資訊，“益”即是得到特徵值資訊後使得類Y的資訊的不確定性減少的程度

顯然，對於資料集D而言，資訊增益依賴於特徵，不同的特徵往往具有不同的資訊增益；資訊增益越大，則該特徵的分類能力越強