決策樹-資訊增益，資訊增益率，Gini

話說今天《機器學習》上課被很深地打擊了，標名為“資料探勘”專業的我居然連個資訊增益的例子都沒能算正確。唉，自看書以來，這個地方就一直沒有去推算過，每每看到決策樹時看完Entropy就直接跳過後面增益計算了。因而，總想找個時間再回過來好好看一下，這不，被逼上了呢。神奇的墨菲定律呢：你擔心它發生的，它就一定會發生。

回正題了，這三個指標均是決策樹用來劃分屬性的時候用到的，其中資訊增益（Info Gain）用於ID3，Gini用於CART，資訊增益率（Info Gain Ratio）用於C4.5。提到前兩個指標的計算時，首先要講到的是關於熵（Entropy）的計算。

1、熵（Entropy）

理論上來說用於決策樹的屬性選擇函式，為方便計算，往往是定義為其屬性的不純性度量，那麼必須滿足如下三個條件：

當結點很純時，其度量值應為0
當不純性最大時（比如所有類都有同樣的可能），其度量值應最大
度量應該服從多級特性，這樣決策樹才能分階段建立起來
measure([2,3,4])=measure([2,7])+frac79timesmeasure([3,4])

而熵（Entropy）能夠滿足以上三點特性。熵（Entropy）是由“資訊理論之父”夏農提出的，更多的各種歷史、數學理論請檢視參考[1]。接下來，看看熵的計算公式如下：

entropy(p1,p2,…,pn)=–p1log2(p1)–p2log2(p2)–…–pnlog2(pn)

其中，( p_i )為比例值。其實，熵也可以用另外一種意思來解釋：

Given a probability distribution, the info required to predict an event is the distribution’s entropy. Entropy gives the information required in bits (this can involve fractions of bits!)

可以簡單的理解為“熵”描述了用來預測的資訊位數。接下來看個例子：

如下表所述的天氣資料，學習目標是預測Play or not play?

表1 天氣預報資料集例子

Outlook	Temperature	Humidity	Windy	Play?
sunny	hot	high	false	no
sunny	hot	high	true	no
overcast	hot	high	false	yes
rain	mild	high	false	yes
rain	cool	normal	false	yes
rain	cool	normal	true	no
overcast	cool	normal	true	yes
sunny	mild	high	false	no
sunny	cool	normal	false	yes
rain	mild	normal	false	yes
sunny	mild	normal	true	yes
overcast	mild	high	true	yes
overcast	hot	normal	false	yes
rain	mild	high	true	no

共14個例項，9個正例（yes），5個負例（no）。

這樣當前資料的資訊量（原始狀態）用熵來計算就是：

info(play?)=info([9,5])=entropy(frac914,frac514)=–frac914log2(frac914)–frac514log2(frac514)=0.410+0.530=0.940

有了上面計算熵（資訊）的基礎，接下來看資訊增益了。

2、資訊增益（Info Gain）

資訊增益，按名稱來理解的話，就是前後資訊的差值，在決策樹分類問題中，即就是決策樹在進行屬性選擇劃分前和劃分後的資訊差值，即可以寫成：

gain()=infobeforeSplit()–infoafterSplit()

如上面的例子，通過使用Outlook屬性來劃分成下圖：

圖1 使用Outlook屬性劃分決策樹

在劃分後，可以看到資料被分成三份，則各分支的資訊計算如下：

info([2,3])=−frac25log2(frac25)–frac35log2(frac35)=0.971bits info([4,0])=−frac44log2(frac44)–frac04log2(frac04)=0bits ，此處雖然( log_2(0) )沒有定義，但( 0 times log_2(0) )仍然計算為0。 info([3,2])=−frac35log2(frac35)–frac25log2(frac25)=0.971bits

因此，劃分後的資訊總量應為：

info([2,3],[4,0],[3,2])=frac514times0.971+frac414times0+frac514times0.971=0.693bits

如果把上面的公式整理到一起的話，就是：

$$ info([2,3], [4,0], [3,2]) = frac{5}{14}times info([2,3]) + frac{4}{14}times info([4,0]) + frac{5}{14}times info([3,2])

= 0.347 + 0 + 0.347 = 0.694 bits $$

從上面可以看出，劃分後的資訊總量計算公式為：

info(S1,…,Sn)=sumnifrac|Si||S|timesentropy(Si)

其中，n表示劃分後的分支數目，( |S| )表示劃分前的例項個數，( |S_i| )表示劃分後某個分支的例項個數。

最後，資訊增益

gain(outlook|play?)=infobeforeSplit()–infoafterSplit()=info(play?)–info([3,2],[4,0],[3,2])=0.940–0.694=0.246bits

通過劃分其他屬性，可得到其他的樹如下：

圖2 使用其他屬性劃分決策樹

同樣計算，

gain(Temperature|play?)=info([9,5])–info([2,2],[4,2],[3,1])=0.940–(frac414timesinfo([2,2])+frac614timesinfo([4,2])+frac414timesinfo([3,1]))=0.028bits gain(Humidity|play?)=0.152bits gain(Windy|play?)=0.048bits

這樣，演算法會選擇最大的資訊增益屬性來進行劃分，在此處為Outlook屬性。接下來在Outlook=sunny結點，按照同樣的判斷方法，選擇其他屬性進行劃分，

圖3 繼續劃分決策樹

計算如下：

infobeforeSplit()=info([2,3])=0.971bits 2個正例，3個負例，計算其熵 gain(Temperature|Outlook

決策樹-資訊增益，資訊增益率，Gini

機器學習實戰決策樹（一）——資訊增益與劃分資料集

決策樹演算法——熵與資訊增益（Python3實現）

[譯] 設計師的決策樹：當遇到豬隊友時，你需要一個系統來控制每個人

離散型與連續型資料決策樹構建及列印實現 R語言，ID3，C4.5演算法

音頻中采樣位數，采樣率，比特率的名詞解釋（轉）

什麽是音頻視頻比特率，采樣率，講的很不錯

【機器學習筆記】：一文讓你徹底理解準確率，精準率，召回率，真正率，假正率，ROC/AUC

NS中吞吐量，丟包率，端到端延遲等計算［轉載］

決策樹-資訊增益，資訊增益率，Gini

決策樹--資訊增益，資訊增益比，Geni指數的理解

機器學習：資訊熵，基尼係數，條件熵，條件基尼係數，資訊增益，資訊增益比，基尼增益，決策樹程式碼實現（一）

2.2決策樹之資訊增益率

樹模型中分裂特徵選擇標準--資訊熵，資訊增益，資訊增益率的計算

大白話5分鐘帶你走進人工智慧-第二十五節決策樹系列之資訊增益和資訊增益率(4)

python實現西瓜書《機器學習》習題4.3資訊增益決策樹

決策樹----熵、資訊增益（ID3）、C4.、多方式原始碼實現

決策樹中的熵、條件熵、資訊增益和Gini指數計算示例

通俗理解決策樹演算法中資訊增益的

決策樹資訊增益

【演算法】決策樹,資訊熵,資訊增益,Gini

決策樹-資訊增益，資訊增益率，Gini

相關推薦