決策樹

• 決策樹
• 決策樹
• 劃分選擇
• 剪枝
• 過擬合產生的原因
• 常用剪枝方法
• 連續值與缺失值處理
• 連續值處理
• 缺失值處理
• 多變數決策樹
• ID3 決策樹
• ID3 決策樹實現

決策樹

決策樹

決策樹是一類常見的機器學習方法，是基於樹結構來進行決策的。一般的，一棵決策樹包含一個根結點、若干個內部結點和若干個葉結點；葉結點對應於決策結果，其他每個結點則對應於一個屬性測試；每個結點包含的樣本集合根據屬性測試的結果被劃分到子節點中；根結點包含樣本全集。從根結點到每個葉結點的路徑對應了一個判定測試序列。決策樹學習的目的是為了產生一棵泛化能力強——即處理未見示例能力強的決策樹。其基本流程遵循“分而治之（divide-and-conquer）”的策略。

決策樹常用於分類問題，樹的根節點包含所有樣本，然後根據一定標準選擇最優劃分屬性，對樣本集進行劃分，得到根節點的子節點，並對每個子節點重複上述過程，直至子節點滿足以下三個條件的任意一個，即將子節點設定為葉子節點：

1. 當前節點包含的樣本全屬於同一類別，無需劃分；
2. 當前屬性集為空，或是所有樣本在所有屬性上取值相同，無法劃分；
3. 當前節點包含的樣本集合為空，不能劃分

在上述第1種情況下，我們將當前節點的類別設定為所有樣本相同的屬性。在第2種情況中，我們將當前節點類別設定成當前節點所含樣本最多的類別。在第3種情況中，將當前節點屬性設定成其父節點中所含樣本最多的類別。

通過上述的介紹，可以發現生成一顆決策樹的關鍵步驟，就是節點切分這個步驟。而節點如何切分，則取決於節點中的樣本要根據哪個屬性（特徵）進行劃分，這也就是決策樹生成中會遇到的第一個問題。所以我們接下來首先討論不同演算法是如何處理這個特徵選取的問題的。緊接著，我們討論剪枝的問題，我們之前討論過，過擬合這個問題是無法避免的，因此不同的模型有不同的處理過擬合的方法，我們也討論一下決策樹在面對過擬合時常用的一些策略。接下來，就是討論一下對於連續值與缺失值的處理，這個在模型應用中是經常會遇到的問題，所以也不能忽視。

劃分選擇

決策樹學習的關鍵是第8行——如何選擇最優劃分屬性。一般而言，隨著劃分過程不斷進行，我們希望決策樹的分支結點包含的樣本儘可能屬於同一類別，即結點的“純度”越來越高。

以下將介紹幾種常見的決策樹劃分選擇指標以及使用他們的具體演算法。假設當前節點的樣本集合D中第k類樣本所佔的比例 $p_k$(k=1,2,3,…,| $\gamma$|)。嘉定離散屬性a有V個可能的取值{ $a^1$, $a^2$,…, $a^V$}，若使用a來對樣本集合D進行劃分，則會產生V個分支節點，其中第v個分支節點包含了D中所有在屬性a上取值為 $a^v$的樣本，記為 $D^v$。

剪枝

過擬合產生的原因

在決策樹學習的過程中，為了儘可能正確分類訓練樣本，節點劃分過程將不斷重複，有時會造成決策樹分支過多，這時就可能因訓練樣本學的“太好”了，以至於把訓練集自身的一些特點當做所有資料都具有的一般性質而導致過擬合。

常用剪枝方法

預剪枝的策略十分明確，但後剪枝的策略則比較多樣性，如何去確定將非葉節點的子樹替換成葉節點後泛化能力是否提升，以怎樣的順序去遍歷非葉節點等不同的策略都可能產生不同的決策樹。

連續值與缺失值處理

連續值處理

對於離散屬性而言，每個屬性的可能取值數量是固定的，以該屬性劃分樣本集合能產生的分支的數量也是確定且有限的。但是實際應用中，我們更多碰到的是連續屬性，即樣本在該屬性上的值是一個實數，此時我們根據該屬性進行劃分的分支數不像離散屬性一樣是有限的，因此我們要採取其他策略來應對連續屬性。

給定樣本集D和連續屬性a，假定a在D上出現了n個不同的取值，將這些值從小到大進行排序，記為{ $a^1$, $a^2$, $a^3$,…, $a^n$}。我們考慮根據該屬性值可以將樣本集合劃分成n-1個子樣本集合，而這n-1個劃分的劃分點則是 $\frac{a^i+a^i+1}{2}$，這個劃分點也稱位跳躍點。根據某個跳躍點t，我們可以將樣本在屬性a上取值小於跳躍點的劃分到 $D^−_t$，大於等於跳躍點的樣本劃分到 $D^+_t$，則每個跳躍點都只會產生兩個子分支。

除了以上差別以外，連續屬性和離散屬性還存在一點不一樣，即若當前節點劃分屬性為連續屬性，該屬性還可作為其後代節點的劃分屬性。舉個例子，加入樣本有離散屬性a，連續屬性b，那麼如果根節點根據屬性a進行劃分了，根節點的所有子孫節點都不再考慮根據a進行劃分。但如果根節點根據屬性b進行劃分了，那麼根節點的子孫節點在選擇劃分時仍然可以考慮屬性b。

缺失值處理

現實任務中中常會遇到不完整樣本，即樣本的某些屬性值確實。面對這樣的資料集，如果我們直接拋棄掉所有存在缺失值的樣本的話，對資料資訊而言是極大的浪費。因此，我們需要考慮如何處理這些存在缺失值的樣本。在考慮這個問題時，我們主要思考如何解決以下兩個問題：

1. 如何在屬性值確實的情況下進行劃分屬性選擇？
2. 給定劃分屬性，若樣本在該屬性上的值確實，如何對樣本進行劃分？
   給定訓練集D和屬性a，令 $\bar{D}$表示D中在屬性a上沒有缺失值得樣本子集。對問題1，顯然我們僅可根據 $\bar{D}$來判斷屬性a的優劣。假定我們為每個樣本x賦予一個權重 $w_x$，並定義
   $\begin{cases} ρ=\frac{∑_{x\in \bar{D}}w_x}{∑_{x\in D}w_x}\\ \bar{pk}=\frac{∑_{x\in \bar{D}}w_x}{∑_{x\in D}w_x} \left ( 1 \leq k \leq \left | \gamma \right | \right )\\ \bar{\gamma k}=\frac{∑_{x\in \bar{D}}w_x}{∑_{x\in D}w_x} \left ( 1 \leq v \leq \left | V\right | \right )\\ \end{cases}$
   基於上述定義，我們可以將資訊增益的公式推廣為
   $Gain(D,a)=ρ∗Gain(\bar D,a)=ρ∗(Ent(\bar D)−\sum_{v\in V}^{}\bar r_vEnt(\bar D^v))$

其中 $ E n t ( D ˉ ) = − ∑ k ∈ γ p ˉ k log ⁡ 相關推薦 機器學習筆記 （六）決策樹 決策樹 決策樹 決策樹 劃分選擇 剪枝 過擬合產生的原因 常用剪枝方法 連續值與缺失值處理 連續值處理 缺失值處理 機器學習入門（六）決策樹 --------韋訪 20181030 1、概述 這一講，我們來看看決策樹。 2、概念 決策樹（decision tree）是一種常用的分類與迴歸方法，其模型為樹狀結構，如下圖所示， 其中，最頂部的圓點為根節點，其他圓點為內部節點，方形為葉子節點。 決策樹 機器學習筆記（四）——決策樹如何長成森林？ 決策樹是一種基本的分類與迴歸方法，在整合方法中經常作為基礎分類器，比如說隨機森林演算法。決策樹模型具有可讀性和分類速度快兩大特點，但是也容易造成過擬合的問題。一般來說，決策樹演算法通常包括3個步驟： 特徵選擇、決策樹的生成和決策樹的修剪！ 一、特徵選擇 當我們使用決策樹演算法對資料進 機器學習（西瓜書）學習筆記（三）---------決策樹 1、基本流程       決策樹通常從一個最基本的問題出發，通過這個判定問題來對某個“屬性”進行“測試”，根據測試的結果來決定匯出結論還是匯出進一步的判定問題，當然，這個判定範圍是在上次決策結果的限定範圍之內的。       出發點 機器學習筆記（六）邏輯回歸 邏輯回歸 alt 表示 結果 不變 改變 最小值 nbsp 可能性 一、邏輯回歸問題 二分類的問題為是否的問題，由算出的分數值，經過sign函數輸出的是（+1，-1），想要輸出的結果為一個幾率值，則需要改變函數模型 ，其中，， 則邏輯回歸的函數為 二、邏輯回歸錯誤評價 線性 機器學習筆記（2）——CART樹 而後 並不是 參數 生成 AS 最大值 介紹 ... 訓練數據 　CART樹 　　CART樹與上一篇文章提到的ID3、C4.5的區別在於： 　　（1）CART樹只能夠生成2個結點，即CART樹是一棵二叉決策樹，而後兩者在進行劃分時可以根據特征值的種類生成2個以上的結點 吳恩達機器學習筆記（六） —— 支持向量機SVM 次數 括號 圖片 最小 我們 支持向量機svm UNC 意思 strong 主要內容： 一.損失函數 二.決策邊界 三.Kernel 四.使用SVM 一.損失函數 二.決策邊界 對於： 當C非常大時，括號括起來的部分就接近於0，所以就變成了： 機器學習實戰（二）決策樹DT（Decision Tree、ID3演算法） 目錄 0. 前言 1. 資訊增益（ID3） 2. 決策樹（Decision Tree） 3. 實戰案例 3.1. 隱形眼鏡案例 3.2. 儲存決策樹 3.3. 決策樹畫圖表示 學習完機器學習實戰的決策樹，簡單的做 機器學習總結（八）決策樹ID3，C4.5演算法，CART演算法 本文主要總結決策樹中的ID3,C4.5和CART演算法，各種演算法的特點，並對比了各種演算法的不同點。 決策樹：是一種基本的分類和迴歸方法。在分類問題中，是基於特徵對例項進行分類。既可以認為是if-then規則的集合，也可以認為是定義在特徵空間和類空間上的條件概率分佈。 決策樹模型：決策樹由結點和有向邊組 機器學習實戰（2）-決策樹 構建決策樹最重要的是分裂屬性的選取,重要的是每個屬性在節點的位置，比如說第一個節點屬性為什麼是A而不是B。分裂屬性就是在某個節點處按照某一特徵屬性的不同劃分構造不同的分支，其目標是讓各個分裂子集更加的純，所謂的純是指儘量讓一個分裂子集中待分類項屬於同一類別。判斷純的方法有ID3，C4.5，CART演算法。&n 機器學習筆記（六）：KNN分類器 1 KNN演算法 1.1 KNN演算法簡介 KNN（K-Nearest Neighbor）工作原理：存在一個樣本資料集合，也稱為訓練樣本集，並且樣本集中每個資料都存在標籤，即我們知道樣本集中每一資料與所屬分類對應的關係。輸入沒有標籤的資料後，將新資料中的每個特徵與樣本集中資料對應的特 機器學習筆記（六）神經網路引入及多分類問題實踐 一、 神經網路引入 我們將從計算機視覺直觀的問題入手，提出引入非線性分類器的必要性。首先，我們希望計算機能夠識別圖片中的車。顯然，這個問題對於計算機來說是很困難的，因為它只能看到畫素點的數值。 應用機器學習，我們需要做的就是提供大量帶標籤的圖片作為訓練集，有的圖片是一輛車，有的圖片不是一輛車，最終我們 機器學習筆記（六）-吳恩達視訊課程（神經網路學習 二） 1.代價函式    神經網路層數L，表示L層（最後一層）神經元個數，表示每層的輸出神經元數   二類分類：=1 輸出層有一個神經元，輸出的y是一個實數 y = 0 or 1 表示類別   多類別分類：一共有K類，則=K，輸出層有K個神經元，&nbs 機器學習筆記（六）：貝葉斯分類器 機器學習所研究的主要內容，是關於在計算機上從資料中產生“模型”的演算法，這個產生的模型大體上可以分為“判別式模型”和“生成式模型”兩大類。 其中判別式模型是給定x，通過直接對條件概率分佈P（y|x）進行建模來預測y。這種方法尋找不同類別的最優分類面，反映的是異類資料之間的差異。之前幾篇文章中介紹 機器學習演算法（二）——決策樹分類演算法及R語言實現方法 決策樹演算法是分類演算法中最常用的演算法之一。決策樹是一種類似流程圖的樹形結構，可以處理高維資料，直觀易理解，且準確率較高，因此應用廣泛。本篇小博就決策樹的若干演算法：ID3演算法、C4.5演算法以及分類迴歸樹（CART）、C5.0進行對比介紹，並對比C4.5與C5.0處理 機器學習筆記（六）——樸素貝葉斯法的引數估計 一、極大似然估計 在上一筆記中，經過推導，得到了樸素貝葉斯分類器的表示形式： y=argmaxckP(Y=ck)∏jP(X(j)=x(j)|Y=ck)(1) 也就是說，樸素貝葉斯方法的學習是對概率P(Y=ck)和P(X(j)=x(j)|Y=ck)的 周志華《Machine Learning》學習筆記（5）--決策樹 上篇主要介紹和討論了線性模型。首先從最簡單的最小二乘法開始，討論輸入屬性有一個和多個的情形，接著通過廣義線性模型延伸開來，將預測連續值的迴歸問題轉化為分類問題，從而引入了對數機率迴歸，最後線性判別分析LDA將樣本點進行投影，多分類問題實質上通過劃分的方法轉化為多 【10月31日】機器學習實戰（二）決策樹：隱形眼鏡資料集 決策樹的優點：計算的複雜度不高，輸出的結果易於理解，對中間值的確實不敏感，可以處理不相關的特徵資料 決策樹的缺點：可能會產生過度匹配的問題。 其本質的思想是通過尋找區分度最好的特徵（屬性），用於支援分類規則的制定。 那麼哪些特徵是區分度好的，哪些特徵是區分度壞的呢？換句話說 機器學習讀書筆記（三）決策樹基礎篇之從相親說起 方法 事務 家裏 分類 筆記 判斷 都是 rom tro 一、決策樹 決策樹是什麽？決策樹(decision tree)是一種基本的分類與回歸方法。舉個通俗易懂的例子，如下圖所示的流程圖就是一個決策樹，長方形代表判斷模塊(decision block)，橢圓形成代 機器學習筆記（三）：決策樹 決策樹（decision tree）是機器學習中最常見的方法之一，本文主要對決策樹的定義，生成與修剪以及經典的決策樹生成演算法進行簡要介紹。目錄如下 一、什麼是決策樹 二、決策樹的生成 三、決策樹的修剪 四、一些經典的決策樹生成演算法   一、什麼是決策樹 顧名 $