1. 目的：為了讓模型的不確定性降低的越快越好
2. 三個過程：特徵選擇、決策樹的生成、決策樹的剪枝
   （1）特徵選擇：
   資訊熵：隨機變數不確定性的度量
   H(X)=−∑ni=1pilogpi$H(X)=-\sum _{i=1}^n{p}_{i}log{p}_i$
   資訊增益：（ID3演算法），得知特徵X的資訊而使類Y的資訊的不確定減少的程度
   g(D,A)=H(D)−H(D|A)$g(D,A)=H(D)-H(D|A)$
   information gain作為劃分訓練資料集的特徵，存在偏向於選擇取值較多的特徵問題。
   （對於取值多的屬性如連續型數值，這個單獨的屬性就可以劃分所有的樣本，使得所有分支下的樣本集合都是“純的”，最極端的情況是每個葉子節點只有一個樣本。這樣的劃分是極為不合理的。）
   資訊增益率
   ：（C4.5演算法），在資訊增益的基礎上除了一項split information,來懲罰值更多的屬性。
   gR(D,A)=g(D,A)HA(D)$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$
   GINI指數：（CART演算法）
   Gini(D)=1−∑Kk=1p2k$Gini(D)=1-\sum _{k=1}^K{p}_k^2$
   （2）決策樹的生成
   遞迴選擇最優特徵（資訊增益、資訊增益比最大，GINI最小）
   遞迴停止條件：
   a. 當前結點包含的樣本全部屬於同一個類別，無需劃分
   b.當前的屬性集為空，或是所有樣本在所有屬性上的取值相同，無法劃分（小於或者大於某個閾值）
   c.當前結點包含的樣本集合為空，不能劃分
   （3）決策樹的剪枝
   目的：減輕過擬合現象
   方法：預剪枝和後剪枝
   預剪枝
   是指在決策樹生成過程中，對每個結點在劃分前先進行估計，若當前結點的劃分不能帶來決策樹泛化效能提升，則停止劃分並將當前結點標記為葉結點。
   後剪枝是先從訓練集合生成一棵完整的決策樹，然後自頂向上地對非葉結點進行考察，若將該結點對應的子樹替換為葉結點帶來決策樹泛化效能提升，則將該子樹替換為葉結點。
   預剪枝基於貪心本質禁止這些分支展開，給預剪枝決策樹帶來欠擬合的風險
   後剪枝基於極小化決策樹整體的損失函式的思想進行剪枝，時間開銷較大；
3. 目標函式：最小化損失函式
4. 損失函式：正則化的極大似然函式
   Cα(T)=∑|T|t=1NtHt(T)+α|T|$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|$
   
   |T|$|T|$為葉子結點的個數，t為T的葉結點，Nt$N_t$為葉結點上樣本個數，其中k$k$類的樣本點有Ntk$N_{tk}$個
   Nt(T)=−∑kNtkNtlogNtkNt$N_t(T)=-\sum _k\frac{N_{tk}}{N_t}log\frac{N_{tk}}{N_t}$
   損失化左邊為經驗風險最小化，右邊實現了結構風險最小化（正則化項）
5. 決策迴歸樹CART(二叉決策樹）
   準則：平方誤差最小化
   將輸入空間劃分為M個單元，每個單元有一個固定的輸出值（有點像變成一個多分類問題，只是現在結果不是一個類而是一個值）
   過程：啟發式
   a. 固定輸入變數j尋找最優切分點s，遍歷所有輸入變數，尋找最優的切分變數j
   minj,s[minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)2]$$mi{n}_{j,s}[mi{n}_{c_1}\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+mi{n}_{c_2}\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$$
   b. 用(j,s)$(j,s)$劃分區域並決定相應的輸出值
   cm=ave(yi|xi∈Rm)$c_m=ave(y_i|x_i\in R_m)$
   c. 遞迴呼叫a,b
   d.

   相關推薦

   決策樹知識點整理

   目的：為了讓模型的不確定性降低的越快越好 三個過程：特徵選擇、決策樹的生成、決策樹的剪枝 （1）特徵選擇： 資訊熵：隨機變數不確定性的度量 H(X)=−∑ni=1pilogpiH(X)=−∑i=

   決策樹知識點總結

   本章介紹關於決策樹的知識，理論部分來自華哥的西瓜書，程式碼部分來自《機器學習實戰》，有位作者對程式碼實現已經做了很好的介紹，有興趣的朋友可以看一下，感謝作者。（https://www.cnblogs.com/dennis-liucd/p/7905793.html）。 一、基

   決策樹基礎知識點整理

   1、基本演算法流程 決策樹的構造是一個遞迴的過程，有三種情形會導致遞迴返回：(1) 當前結點包含的樣本全屬於同一類別，這時直接將該節點標記為葉節點，並設為相應的類別；(2) 當前屬性集為空，或是所有樣本在所有屬性上取值相同，無法劃分，這時將該節點標記為葉節點，

   機器學習算法整理（三）決策樹

   outlook spa com width 選擇 clas .com img 衡量標準 決策樹的訓練與測試 如何切分特征（選擇節點） 衡量標準-熵 信息增益 決策樹構造實例 信息增益：表示特

   簡練軟考知識點整理-相親樹矩優過活

   簡練 軟考 項目管理 信息系統項目管理師 質量管理 質量管理的技術和工具中，通常將因果圖、流程圖、直方圖、檢查表、散點圖、排列圖 和控制圖稱為“老七種工具”，簡稱為“因流直撿散排控”，而將相互關系圖、親和圖、樹狀圖、矩陣圖、優先矩陣圖、過程決策程序圖和 活動網絡圖稱為“新七種工具”

   決策樹面試知識點最全總結（五）——CART分類樹

   CART分類樹用基尼指數選擇最優特徵，同時決定該特徵的最優二值切分點。 **基尼指數：**分類問題中，假設有K個類，樣本點屬於第k類的概率為 p

   機器學習面試知識點之決策樹相關

   決策樹面試知識點最全總結（一） 一：首先明確以下幾個基本問題： 1.決策樹是幹什麼用的？ 一種最基本的分類與迴歸方法，因為實際應用中基本上全是用來分類，所以重點討論分類決策樹。 2.決策樹優缺點： 優點： 1）

   機器學習十大經典演算法之決策樹（學習筆記整理）

   一、決策樹概述 決策樹是一種樹形結構，其中每個內部節點表示一個屬性上的測試，每個分支代表一個測試輸出，每個葉節點代表一種類別。決策樹是一個預測模型，代表的是物件屬性與物件值之間的一種對映關係。 最初的節點稱為根節點（如圖中的"顏色"），有分支的節點稱為中間節點

   【西瓜書】Chanp4 決策樹整理

           決策樹模型在監督學習中非常常見，可用於分類（二分類、多分類）和迴歸。一般而言，一棵“完全生長”的決策樹包含：特徵選擇、決策樹構建、剪枝三個過程。 一、決策樹的優點和缺點        優點： 決策樹演算法中學習簡單的決策規則建立決策樹模型的過程非常容易理

   對於決策樹的一些整理

   人們都說決策樹是一種很簡單的分類器，筆者也看過不少關於決策樹的文章以及教程之類的，可是如果你讓把獨立地把這個決策過程完整地複述一遍，還是會有很多細節不太明瞭。在這裡以問答形式作一個總結，錯誤的地方請指正。 一 你能說說決策樹的基本流程嗎？ 顧名思義，決策樹就

   PMP知識點總結-決策樹（DMT）分析：制定專案決策

   　1．為什麼使用決策樹分析？ 　　當專案需要做出某種決策、選擇某種解決方案或者確定是否存在某種風險時，決策樹（decision making tree）提供了一種形象化的、基於資料分析和論證的科學方法，這種方法通過嚴密地邏輯推導和逐級逼近地資料計算，從決策點開始，按照所分析問

   決策樹算法整理

   就是 部分 class boosting 回歸 ESS then 是否 開始 決策樹（decision tree）是一種常見的分類和回歸算法，也是性能較好的提升樹算法（boosting tree）的基本分類器。 在分類問題中，決策樹模型是以樹的結構，基於特征來對樣本進行分

   Decision Tree 1: Basis 決策樹基礎

   entropy inf 屬於 得到 == bad spa span idt 介紹 我們有一些歷史數據： record id\attributes A B C Result 1 a1 b1 c1 Good 2 a2 b2 c1 Bad 3 a1 b3

   自動加載類的知識點整理

   簡單 副本 而是 ren 是個 其中 自動調用 php文件 代碼 //__tostring()方法 class Ren　　　　　　//造一個人類，裏面有成員變量$name { 　　public $name; } $r = new Ren(); echo $r; //寫出

   JavaEE常用小知識點整理

   context add 結束 gin 參數 thread 函數 線程 -m 1.獲取項目路徑：request.getContextPath(); 2.獲取請求的參數：request.getQueryString(); 3.指定請求的字符編碼格式：URLEncoder.enc

   MyBatis知識點整理

   for 表示 sql {} 引號 構建 bsp user lose 1.Mybatis的查詢中可以這樣寫： 如 ID IN (${IDS})在IDS外面拼接了一個()，同樣可以拼接%或者單引號2.Mybatis的${}和#{}的區別： ${}的值直接顯示在生成的sql語句

   Jquery知識點整理

   元素 返回值 篩選 事情 find 創建對象 播放 設值 from 1.attr()設置或返回被選元素的屬性值。 如：設值：$("img").attr("width","180"); 返回值：$(selector).attr(attribute,value) a

   雪飲者 決策樹系列（二）決策樹應用

   ssi 字符串長度 mes pla 選擇 font com vector nac 　　本篇以信息增益最大作為最優化策略來詳細介紹決策樹的決策流程。 　　首先給定數據集，見下圖 　　 註：本數據來源於網絡 本篇將以這些數據作為訓練數據（雖然少，但足以介紹清楚原理！），下圖是決

   決策樹與隨機森林

   隨機 tro 過程 能夠 ots pull 葉子節點 合並 pan 決策樹 　　決策樹學習采用的是自頂向下的遞歸方法, 其基本思想是以信息熵為度量構造一棵熵值下降最快的樹,到葉子節點處的熵值為零, 　　此時每個葉節點中的實例都屬於同一類。 決策樹三種生成算法 ID3 -

   【Python】決策樹的python實現

   uia bmp say 不知道 times otto outlook lru bgm 【Python】決策樹的python實現 2016-12-08 數據分析師Nieson 1. 決策樹是什麽? 簡單地理解，就是根據一些 feature 進行分類，每個節點提一個問