（轉載）我們為什麼需要資訊增益比，而不是資訊增益？

阿新 • • 發佈：2018-12-07

我們為什麼需要資訊增益比，而不是資訊增益？

之前不知道為何要用資訊增益比，資訊增益比相對於資訊增益有何優勢，看了這篇文章感覺博主所述比較詳細，特此轉載用作複習

                     表一 滿足什麼情況才去玩高爾夫 [1]

    
     1

Day	Temperatrue	Outlook	Humidity	Windy	PlayGolf?
07-05	hot	sunny	high	false	no
07-06	hot	sunny	high	true	no
07-07	hot	overcast	high	false	yes
07-09	cool	rain	normal	false	yes
07-10	cool	overcast	normal	true	yes
07-12	mild	sunny	high	false	no
07-14	cool	sunny	normal	false	yes
07-15	mild	rain	normal	false	yes
07-20	mild	sunny	normal	true	yes
07-21	mild	overcast	high	true	yes
07-22	hot	overcast	normal	false	yes
07-23	mild	sunny	high	true	no
07-26	cool	sunny	normal	true	no
07-30	mild	sunny	high	false	yes

決策樹是機器學習中的經典演算法，分別由三個經典演算法實現：ID3，C4.5，CART指數（基尼指數）

對於ID3呢？這就是下面的內容要討論的。

討論之前先來幾個公式壓壓驚。

在資訊理論與概率統計中，熵（entropy）是表示隨機變數不確定性的度量[2]。設X的概率分佈為

P(X=Xi)=pi,i=1,2,...,nP(X=Xi)=pi,i=1,2,...,n

其實公式看起來挺嚇人的，但是計算的時候很簡單。拿表一作為計算的例子，假設

p1=Num(no)/(Num(no)+Num(yes))p1=Num(no)/(Num(no)+Num(yes))

條件熵定義為

H(D|A)=∑i=1npiH(Y|A=ai)H(D|A)=∑i=1npiH(Y|A=ai) 經驗條件熵，再舉一個例子，假如把Outlook作為分隔樣本的特徵的話，那麼

E(Outlook=sunny)=−25log25−35log35=0.971E(Outlook=sunny)=−25log25−35log35=0.971

所以

H(D|A)=514⋅0.971+414⋅0+514⋅0.971=0.693H(D|A)=514⋅0.971+414⋅0+514⋅0.971=0.693

得到了熵和條件熵，那麼資訊增益就好求了，公式如下

g(D,A)=H(D)−H(D|A)g(D,A)=H(D)−H(D|A) ，資訊增益越大說明該特徵對於減少樣本的不確定性程度的能力越大，也就代表這個特徵越好。這種選擇特徵的思路就是ID3演算法選擇特徵的核心思想。

本來ID3

總結上面的公式，計算得到下表：

OutLook	Temperatrue
Gain:0.940-0.693 = 0.247	Gain:0.940-0.911 = 0.029
Gain ratio: 0.245/1.577 = 0.157	Gain ratio:0.029/1.557 = 0.019

Humidity	Windy
Gain:0.940-0.788 = 0.152	Gain:0.940-0.911 = 0.029
Gain ratio: 0.152/1.000 = 0.152	Gain ratio:0.048/0.985 = 0.049

Day
Gain ratio:0.940/3.807 = 0.246

然而。。。最終還是Day的特徵優勢最大。。。Orz
不過雖然這樣，資訊增益率還是要比資訊增益可靠的多的！另外也可以看出，對特徵的篩選也是非常重要的步驟，可以減少資訊增益率失效的機率。

[1] http://www.ke.tu-darmstadt.de/lehre/archiv/ws0809/mldm/dt.pdf
[2] 李航. 統計學習方法.

我們為什麼需要資訊增益比，而不是資訊增益？

之前不知道為何要用資訊增益比，資訊增益比相對於資訊增益有何優勢，看了這篇文章感覺博主所述比較詳細，特此轉載用作複習

                     表一 滿足什麼情況才去玩高爾夫 [1]

  
   1

Day	Temperatrue	Outlook	Humidity	Windy	PlayGolf?
07-05	hot	sunny	high	false	no
07-06	hot	sunny	high	true	no
07-07	hot	overcast	high	false	yes
07-09	cool	rain	normal	false	yes
07-10	cool	overcast	normal	true	yes
07-12	mild	sunny	high	false	no
07-14	cool	sunny	normal	false	yes
07-15	mild	rain	normal	false	yes
07-20	mild	sunny	normal	true	yes
07-21	mild	overcast	high	true	yes
07-22	hot	overcast	normal	false	yes
07-23	mild	sunny	high	true	no
07-26	cool	sunny	normal	true	no
07-30	mild	sunny	high	false	yes

（轉載）我們為什麼需要資訊增益比，而不是資訊增益？

我們為什麼需要資訊增益比，而不是資訊增益？之前不知道為何要用資訊增益比，資訊增益比相對於資訊增益有何優勢，看了這篇文章感覺博主所述比較詳細，特此轉載用作複習表一滿足什麼情況才去玩高爾夫 [1]

【linux】linux 環境下安裝禪道（轉載） -- 跟web服務器無關，無視apache、nginx！！！

sdn php 修改鏈接 net 壓縮操作 tps 數據庫參考文章鏈接：https://blog.csdn.net/xinxin19881112/article/details/46813991 講的非常完美、透徹，不像其他的文章，都是抄襲的，沒一點註意事項和自己

java 程式碼細節（返回零長度的陣列或者集合，而不是null）

這個觀點來自<<Effective Java>> 在Collections中有專門針對List,Set,Map的空的實現。如： Collections.emptyList() Collections.emptySet(); Col

機器學習：資訊熵，基尼係數，條件熵，條件基尼係數，資訊增益，資訊增益比，基尼增益，決策樹程式碼實現（一）

文章目錄初始化，涉及到使用的變數：資訊熵定義公式，經驗公式程式碼：基尼係數定義公式，經驗公式程式碼：條件熵，條件基尼係數條件熵定義公式，經驗公式

win7不需要密碼訪問網絡共享文件（轉載）

blank import 開始發現 sao med .com rfi 關閉window 大家是不是覺得，共享一個文件夾後，每次輸入密碼都很麻煩呢？有沒有不需要輸入密碼就可以訪問共享文件的方法呢？答案是肯定的，當然有，下面介紹下win7不需要密碼訪問網絡共享文件

成為一名阿里P7Java架構師需要的技術準備（轉載）

最近部門招聘，很多工程師，包括我在內都參與了內推和麵試的過程，經過這次招聘，我發現能夠最終拿到offer的人，基本上在看到簡歷的那一瞬間就已經定下來了，後續的面試只不過是一種驗證而已（注意，是驗證，而不是走過場），除非你面試過程中犯錯誤，或者你不想來，否則，那個offer一定是可以拿下的。那些拿下offe

敏捷開發實踐（3）-我們為什麼需要持續整合？

背景自從我們使用scrum進行專案開發後，出現了這樣那樣的問題，有些是因為我們對scrum的理解不到位，有些則是客觀因素導致的，針對這些問題，在每次迭代的總結會上，我們進行了反思，並根據具體環境對scrum進行了一一調整，想通過幾篇文章和大家分享一下我的

超讚的（轉載）Ubuntu 16.04 LTS安裝好之後需要做的15件事

Ubuntu 16.04 LTS安裝好之後需要做的15件事看到這篇文章說明你已經從老版本升級到 Ubuntu 16.04 或進行了全新安裝，在安裝好 Ubuntu 16.04 LTS 之後建議大家先做如下 15 件事。無論你是剛加入 Ubuntu 行列的新使用者，還是有經驗的老使用者，你都會

比特幣--交易（轉載）

交易讓使用者花費satoshis(聰)。每個交易都由幾個部分構成，這些部分既可以實現簡單的直接付款，也可以實現複雜的交易。本節將介紹每個部分，並演示如何一起使用它們來構建完整的事務。為了保持簡單，本節假設幣基交易不存在。幣基交易只能由Bitcoin 礦工建立，它們是下列許多規

在一般處理檔案中訪問Session需要新增IRequiresSessionState（轉載）

通常我們經常，通過session判定使用者是否登入。還有一些臨時的、重要的資料也嚐嚐存放在Session中。在頁面我們很容易的得到Session的值，但在類中就會遇到一些問題。也知道通過下面的方法得到。 System.Web.HttpContext.Current.Session["userinfo"

檢視Linux系統版本資訊（轉載）

怎樣檢視Linux系統版本資訊的命令... 　　幾種檢視Linux版本資訊的方法：　　1. uname -a Webjx.Com 　　2. cat /proc/version 　　3. cat /etc/issue 4. lsb_release -a 　　詳解 lsb_release -a 　

資訊學競賽經驗總結（轉載）

比賽經驗總結 1.陣列上下標要多開幾維以防爆陣列。 2.資料型別要注意，大多時候需要開long long（longint）。 3.做題不能太大膽，想到什麼就認為正解是什麼；同樣的，也不能太保守，無論想到什麼都否定演算法的正確性。 4.打對拍時，特別要注意對拍與程式共用的

（轉載）為什麼有些普通員工的薪水比總監還高?因為他有“高薪護城河”

　　高效、差異化、專一化，三大“競爭壁壘”，形成你的“高薪護城河”。1.你的核心競爭力擁有足夠寬的“護城河”嗎　　為什麼有些普遍員工的薪水比總監高，有些總監的薪水又比總裁高?　　為什麼騰訊投資更願意參股，阿里投資更想要控股?　　這兩個完全不相干的問題，一個是企業的競爭戰略，一

程式設計師的奮鬥史（六）——我們是需要團隊合作精神的

IT行業是個人才輩出的行業，縱觀這些人才，無不是綜合能力很強的。特別突出的就是團隊合作精神。當今社會做軟體單打獨鬥是行不通的了。想當年求伯君一個人單槍匹馬寫了個WPS

PHP工程師需要掌握的知識（轉載）

http tail 靈活調優 mys 版本控制 shel 配置 http協議掌握PHP基礎、文件操作、面向對象編程、CURL擴展。掌握Linux環境下面LAMP環境搭建、LNMP環境搭建。了解基本的HTTP協議和計算機網絡知識。熟悉常用的算法與數據結構知

二、Linear Regression 練習（轉載）

hold off int 必須 html 移動根據 which win from 轉載鏈接：http://www.cnblogs.com/tornadomeet/archive/2013/03/15/2961660.html 前言　　本文是多元線性回歸的練習，這裏練習的

六、regularized logisitic regssion練習（轉載）

method open lose hold on update import 等高線 algo 2個轉載鏈接：http://www.cnblogs.com/tornadomeet/archive/2013/03/17/2964858.html 在上一講Deep learn

SQLServer · BUG分析 · Agent 鏈接泄露分析（轉載）

空閑 doc ucc object bsp line existing rds 成功背景 SQLServer Agent作為Windows服務提供給用戶定期執行管理任務，這些任務被稱為Job；考慮應用鏡像的場景如何解決Job同步問題，AWS RDS的做法是不予理會，由

最短路徑-Dijkstra算法（轉載）

ges 圖論測試 log logs 表示保存依次路徑註意：以下代碼只是描述思路，沒有測試過！！ Dijkstra算法 1.定義概覽 Dijkstra(迪傑斯特拉)算法是典型的單源最短路徑算法，用於計算一個節點到其他所有節點的最短路徑。主要特點是以起始點為中心

最短路徑-Floyd算法（轉載）

進一步數字 sdn 進行無法 .net %d data scanf 暑假，小哼準備去一些城市旅遊。有些城市之間有公路，有些城市之間則沒有，如下圖。為了節省經費以及方便計劃旅程，小哼希望在出發之前知道任意兩個城市之前的最短路程。上圖

（轉載）我們為什麼需要資訊增益比，而不是資訊增益？

我們為什麼需要資訊增益比，而不是資訊增益？

我們為什麼需要資訊增益比，而不是資訊增益？

相關推薦