Python計算資訊熵例項
阿新 • • 發佈:2020-06-18
計算資訊熵的公式:n是類別數,p(xi)是第i類的概率
假設資料集有m行,即m個樣本,每一行最後一列為該樣本的標籤,計算資料集資訊熵的程式碼如下:
from math import log def calcShannonEnt(dataSet): numEntries = len(dataSet) # 樣本數 labelCounts = {} # 該資料集每個類別的頻數 for featVec in dataSet: # 對每一行樣本 currentLabel = featVec[-1] # 該樣本的標籤 if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0 labelCounts[currentLabel] += 1 shannonEnt = 0.0 for key in labelCounts: prob = float(labelCounts[key])/numEntries # 計算p(xi) shannonEnt -= prob * log(prob,2) # log base 2 return shannonEnt
補充知識:python 實現資訊熵、條件熵、資訊增益、基尼係數
我就廢話不多說了,大家還是直接看程式碼吧~
import pandas as pd import numpy as np import math ## 計算資訊熵 def getEntropy(s): # 找到各個不同取值出現的次數 if not isinstance(s,pd.core.series.Series): s = pd.Series(s) prt_ary = pd.groupby(s,by = s).count().values / float(len(s)) return -(np.log2(prt_ary) * prt_ary).sum() ## 計算條件熵: 條件s1下s2的條件熵 def getCondEntropy(s1,s2): d = dict() for i in list(range(len(s1))): d[s1[i]] = d.get(s1[i],[]) + [s2[i]] return sum([getEntropy(d[k]) * len(d[k]) / float(len(s1)) for k in d]) ## 計算資訊增益 def getEntropyGain(s1,s2): return getEntropy(s2) - getCondEntropy(s1,s2) ## 計算增益率 def getEntropyGainRadio(s1,s2): return getEntropyGain(s1,s2) / getEntropy(s2) ## 衡量離散值的相關性 import math def getDiscreteCorr(s1,s2) / math.sqrt(getEntropy(s1) * getEntropy(s2)) # ######## 計算概率平方和 def getProbSS(s): if not isinstance(s,by = s).count().values / float(len(s)) return sum(prt_ary ** 2) ######## 計算基尼係數 def getGini(s1,[]) + [s2[i]] return 1-sum([getProbSS(d[k]) * len(d[k]) / float(len(s1)) for k in d]) ## 對離散型變數計算相關係數,並畫出熱力圖,返回相關性矩陣 def DiscreteCorr(C_data): ## 對離散型變數(C_data)進行相關係數的計算 C_data_column_names = C_data.columns.tolist() ## 儲存C_data相關係數的矩陣 import numpy as np dp_corr_mat = np.zeros([len(C_data_column_names),len(C_data_column_names)]) for i in range(len(C_data_column_names)): for j in range(len(C_data_column_names)): # 計算兩個屬性之間的相關係數 temp_corr = getDiscreteCorr(C_data.iloc[:,i],C_data.iloc[:,j]) dp_corr_mat[i][j] = temp_corr # 畫出相關係數圖 fig = plt.figure() fig.add_subplot(2,2,1) sns.heatmap(dp_corr_mat,vmin= - 1,vmax= 1,cmap= sns.color_palette('RdBu',n_colors= 128),xticklabels= C_data_column_names,yticklabels= C_data_column_names) return pd.DataFrame(dp_corr_mat) if __name__ == "__main__": s1 = pd.Series(['X1','X1','X2','X2']) s2 = pd.Series(['Y1','Y1','Y2','Y2']) print('CondEntropy:',getCondEntropy(s1,s2)) print('EntropyGain:',getEntropyGain(s1,s2)) print('EntropyGainRadio',getEntropyGainRadio(s1,s2)) print('DiscreteCorr:',getDiscreteCorr(s1,s1)) print('Gini',getGini(s1,s2))
以上這篇Python計算資訊熵例項就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支援我們。