2. 程式人生 > >[DataAnalysis]機器學習演算法——決策樹詳解（屬性劃分+剪枝+缺失值/連續值處理）

[DataAnalysis]機器學習演算法——決策樹詳解（屬性劃分+剪枝+缺失值/連續值處理）

阿新 • • 發佈：2019-02-01

決策樹簡述

決策樹是一種用於對例項進行分類的樹形結構。決策樹由節點（node）和有向邊（directed edge）組成。節點分成根節點、內節點（表示一個特徵或者屬性的測試條件）和葉子節點（表示一個分類）。

決策樹的生成是一個遞迴過程。在決策樹演算法中，有三種情形會導致遞迴返回。（1）當前結點包含的樣本全屬於同一類別，無需劃分；（2）當前屬性集為空，或是所有樣本在所有屬性上取值相同，無法劃分。（3）當前結點包含的樣本集合為空，無法劃分。

劃分選擇（如何選擇最優劃分屬性）

1、資訊熵

（1）資訊增益

假定當前樣本集合D中第k類樣本所佔的比例為p_k(k=1,2,3,4...|\gamma |)，則D的資訊熵定義為

Ent(D)=-\sum_{k=1}^{|\gamma |}p_{k}log_{2}p_k，該值越小，則D的純度越高

資訊熵定義為：

Gain(D,a)=Ent(D)-\sum_{v=1}^{V}\frac{|D_v|}{D}Ent(D_v)

資訊增益越大，說明用屬性a來進行劃分所獲得的“純度提升”越大。選擇資訊增益最大的作為劃分屬性。

（2）增益率

由於資訊增益準則會偏好取值數目較多的屬性，因此我們引入“增益率”對取值數目較多的屬性增加懲罰。

增益率定義為：

Gain_ratio(D,a)=\frac{Gain(D,a)}{IV(a)}

其中，IV(a)=-\sum_{v=1}^{V}\frac{|D_v|}{|D|}log_2\frac{|D_v|}{|D|}，a的屬性值越多，則IV(a)越大。

但是增益率對可取值數目較少的屬性有所偏好。

從而我們先從候選劃分屬性中找出資訊增益高於平均水平的屬性，再從中選取增益率最高的。

2、基尼係數

CART決策樹用“基尼係數”來選取劃分屬性。

Gini(D)=1-\sum_{k=1}^{|\gamma |}p_k^2

3、誤分類概率

剪枝處理puring

在決策樹學習中，為了儘可能正確分類訓練樣本，可能會導致決策樹分支過多，可能會出現過擬合的問題。剪枝就是決策樹學習演算法中應對“過擬合”的主要手段。

1、預剪枝

預剪枝要對劃分前後的泛化效能進行估計來決定是否要進行這個劃分。

2、後剪枝

（1）分析剪枝前後泛化能力（驗證集精度）

（2）奧卡姆剃刀原則：雖然剪枝後精度並未提升，但是模型簡化了也需要剪枝。

連續值處理

可以採用二分法對連續屬性進行處理（如C4.5決策樹演算法中採用的機制）

給定樣本集D和連續屬性a，假定a在D上出現了n個不同的取值，將這些取值從大到小進行排序，記為\{a^1,a^2,a^3...a^n\}。我們考慮包含n-1個元素的候選劃分點集合

T_a=\{\frac{a^i+a^{i+1}}{2}|1\leq i\leq n-1\}

即把區間[a^i,a^{i+1})的中位數作為候選劃分點，選取最優的劃分點作為樣本集合的劃分。

缺失值處理

在屬性數目較多的情況下，往往會有大量樣本出現缺失值。如果簡單地放棄不完整樣本，僅使用無缺失值的樣本進行學習，顯然是對樣本資訊的極大浪費。

給定訓練集D和有缺失值的屬性a，令\tilde{D}表示D中在屬性a上沒有缺失值的樣本子集，假定屬性a有V個可取值\{a^1,a^2,...a^V\}。

令\tilde{D}^v表示\tilde{D}中在屬性a上取值為a^v的樣本子集，\tilde{D}_k表示\tilde{D}中屬於第k類的樣本子集。假定我們為每一個樣本賦予一個權重w_x。定義：

\rho =\frac{\sum_{x\in \tilde{D}}w_x}{\sum_{x\in D}w_x}

\tilde{\rho}_k =\frac{\sum_{x\in \tilde{D}_k}w_x}{\sum_{x\in \tilde{D}}w_x}

\tilde{r}_v =\frac{\sum_{x\in \tilde{D}^v}w_x}{\sum_{x\in \tilde{D}}w_x}

直觀來看，對屬性a，p表示無缺失值樣本所佔的比例，\tilde{\rho}_k表示無缺失值樣本中第k類所佔的比例，\tilde{r}_v則表示無缺失值樣本中在屬性a上取值a^v的樣本所佔的比例。

資訊增益的計算式推廣為：

Gain(D,a)=\rho *Gain(\tilde{D},a)=\rho*(Ent(\tilde{D})-\sum_{v=1}^{V}\tilde{r}_vEnt(\tilde{D}^v))

Ent(\tilde{D})=-\sum_{k=1}^{|\gamma |}\tilde{p}_klog_2\tilde{p}_k

多變數決策樹

用於處理真實邊界比較複雜的情形，我理解這種情形下已經不是傳統的決策樹，解釋性較差。可以考慮用SVM或者其他的分類方法。

相關推薦

[DataAnalysis]機器學習演算法——決策樹詳解（屬性劃分+剪枝+缺失值/連續值處理）

決策樹簡述 決策樹是一種用於對例項進行分類的樹形結構。決策樹由節點（node）和有向邊（directed edge）組成。節點分成根節點、內節點（表示一個特徵或者屬性的測試條件）和葉子節點（表示一個分類）。 決策樹的生成是一個遞迴過程。在決策樹演算法中，有三種情形會導致遞

機器學習---演算法---決策樹

轉自：https://blog.csdn.net/qq_43208303/article/details/84837412   決策樹是一種機器學習的方法。決策樹的生成演算法有ID3, C4.5和CART等。決策樹是一種樹形結構，其中每個內部節點表示一個屬性上的判斷，每個分支代表一個判斷結果的輸

機器學習演算法——決策樹

  一、機器學習中分類與預測演算法評估 1、準確率             2、速度             3、強壯性             4、可規模性             5、可解釋性         在機器學習演算法當中、評價一個演算法的好壞或者比較

機器學習演算法——邏輯迴歸詳解

簡介 邏輯迴歸（Logistic Regression）既是迴歸演算法，也是分類演算法。通常情況下用於解決分類問題。 之前線性迴歸中，迴歸函式 y = Wx + b 中，y實際上就是我們要預測的值，如房價的價格預測。 而線上性迴歸中，我們實際要求的函式為 p =

機器學習演算法--決策樹2

以機器學習實戰決策樹為例，實現具體的決策樹演算法： 1.資訊增益的實現 2.劃分資料集 3.遞迴構建決策樹 4.使用matplotlib構造決策樹 5.測試和儲存決策樹 6.例項--隱形眼鏡型別 1.資訊增益的實現 集合D中類別數y,各種類別概率為pk,則集合

資料探勘十大演算法之決策樹詳解（1）

在2006年12月召開的 IEEE 資料探勘國際會議上（ICDM， International Conference on Data Mining），與會的各位專家選出了當時的十大資料探勘演算法（ top 10 data mining algorithms ），

機器學習演算法二：詳解Boosting系列演算法一Adaboost

本文主要介紹boosting演算法得基本原理，以及的三種典型演算法原理：adaboost，GBM（Gradient bossting machine），XGBoost。 Boosting方法原理 boosting演算法是一類將弱學習器提升為強學習器的整合學習

機器學習之決策樹 Decision Tree（三）scikit-learn演算法庫

1、scikit-learn決策樹演算法類庫介紹         scikit-learn決策樹演算法類庫內部實現是使用了調優過的CART樹演算法，既可以做分類，又可以做迴歸。分類決策樹的類對應的是DecisionTreeClassifier，而回歸決策樹的類對應的是D

機器學習演算法 --- 決策樹ID3，C4.5

一、決策樹基本概念及演算法優缺點 1.什麼是決策樹 分類決策樹模型是一種描述對例項進行分類的樹形結構。決策樹由結點和有向邊組成。結點有兩種型別：內部結點和葉結點。內部結點表示一個特徵或屬性，葉結點表示一個類。 決策樹（Decision Tree），又稱判定

機器學習演算法-梯度樹提升GTB（GBRT）

Introduction 決策樹這種演算法有著很多良好的特性，比如說訓練時間複雜度較低，預測的過程比較快速，模型容易展示（容易將得到的決策樹做成圖片展示出來）等。但是同時，單決策樹又有一些不好的地方，比如說容易over-fitting，雖然有一些方法，如剪

機器學習演算法中的評價指標（準確率、召回率、F值、ROC、AUC等）

參考連結：https://www.cnblogs.com/Zhi-Z/p/8728168.html 具體更詳細的可以查閱周志華的西瓜書第二章，寫的非常詳細~ 一、機器學習效能評估指標 1.準確率(Accurary)   準確率是我們最常見的評價指標，而且很容易理解，就是被分對的樣本

機器學習之決策樹演算法詳解

1-1 基本流程 決策樹是一個有監督分類與迴歸演算法。 決策樹的生成只考慮區域性最優，相對的，決策樹剪枝則考慮全域性最優。 一、概念： 決策樹：是一種樹形結構，其中每個內部節點表示一個屬性上的判斷，每個分支代表一個判斷結果的輸出，最後每個葉節點代表一

機器學習_決策樹Python代碼詳解

機器 one math n) sco atl return 復雜度 重復 決策樹優點：計算復雜度不高，輸出結果易於理解，對中間值的缺失不敏感，可以處理不相關特征數據； 決策樹缺點：可能會產生過度匹配問題。 決策樹的一般步驟： （1）代碼中def 1，計算給定數據集的香農熵：

機器學習_8.決策樹演算法

1.ID3演算法 預備知識 1.資訊熵： 2.資訊增益      演算法內容 引入了資訊理論中的互資訊（資訊增益）作為選擇判別因素的度量，即：以資訊增益的下降速度作為選取分類屬性的標準，所選的測試屬性是從根節點到當前節點的路徑上從沒有

【機器學習】決策樹演算法（二）— 程式碼實現

#coding=utf8 ‘’’ Created on 2018年11月4日 @author: xiaofengyang 決策樹演算法：ID3演算法 ‘’’ from sklearn.feature_extraction import DictVectorize

【機器學習】決策樹（基於ID3,C4.5,CART分類迴歸樹演算法）—— python3 實現方案

內含3種演算法的核心部分. 沒有找到很好的測試資料. 但就理清演算法思路來說問題不大 剪枝演算法目前只實現了CART迴歸樹的後剪枝. import numpy as np from collections import Counter from sklearn imp

機器學習之決策樹 機器學習之K-近鄰演算法

　　都說萬事開頭難，可一旦開頭，就是全新的狀態，就有可能收穫自己未曾預料到的成果。從2018.12.28開始，決定跟隨《機器學習實戰》的腳步開始其征程，記錄是為了更好的監督、理解和推進，學習過程中用到的資料集和程式碼都將上傳到github 　　機器學習系列部落格：（1） 機器學習之K-近鄰演算法

機器學習：決策樹及ID3,C4.5,CART演算法描述

文章目錄 概念理解 熵: 條件熵: 資訊增益，互資訊: 資訊增益比 基尼指數 ID3演算法描述 C4.5演算法描述 CART (Classification and Regression Tree

【機器學習】決策樹（下)CART演算法分類樹、迴歸樹

CART同樣由特徵選擇、樹的生成、剪枝組成。既可以用於迴歸，又可以用於分類。 CART是在給定輸入隨機變數X條件下輸出隨機變數Y的條件概率分佈的學習方法。 CART假設決策樹是二叉樹，內部節點特徵的取值為“是“和“否“，左分支是取值為“是“的分支，右分支是取值為“否“的分支。這樣的決策樹

演算法導論學習--紅黑樹詳解之刪除(含完整紅黑樹程式碼)

前面我們討論了紅黑樹的插入的實現，基本思想是分類討論；然後分情況討論以後我們發現插入操作調整函式只需要處理三種情況，並不是太複雜。但是刪除操作會更復雜一點，因為二叉搜尋樹的刪除操作本身就分成了多種情況，這樣在執行刪除操作後要處理的情況會更多；下面對於刪除操作我們