python實現二分類的卡方分箱示例
阿新 • • 發佈：2020-01-09
解決的問題：
1、實現了二分類的卡方分箱；
2、實現了最大分組限定停止條件，和最小閾值限定停止條件；
問題，還不太清楚，後續補充。
1、自由度k,如何來確定，卡方閾值的自由度為 分箱數-1，顯著性水平可以取10%，5%或1%
演算法擴充套件：
1、卡方分箱除了用閾值來做約束條件，還可以進一步的加入分箱數約束，以及最小箱佔比，壞人率約束等。
2、需要實現更多分類的卡方分箱演算法；
具體程式碼如下：
# -*- coding: utf-8 -*-
"""
Created on Wed Nov 28 16:54:58 2018
@author: wolfly_fu
解決的問題：
1、實現了二分類的卡方分箱
2、實現了最大分組限定停止條件，和最小閾值限定停止條件；
問題，
1、自由度k,如何來確定？
演算法擴充套件：
1、卡方分箱除了用閾值來做約束條件，還可以進一步的加入分箱數約束，以及最小箱佔比，壞人率約束等。
2、需要實現更多分類的卡方分箱演算法
"""
import pandas as pd
import numpy as np
from scipy.stats import chi2
#匯入資料
df = pd.read_csv(u'test.csv')
#計算卡方統計量
def cal_chi2(input_df,var_name,Y_name): ##二分類，，計算每個變數值的卡方統計量
'''
df = input_df[[var_name,Y_name]]
var_values = sorted(list(set(df[var_name])))
Y_values = sorted(list(set(df[Y_name])))
#用迴圈的方式填充
chi2_result = pd.DataFrame(index=var_values,columns=Y_values)
for var_value in var_values:
for Y_value in Y_values:
chi2_result.loc[var_value][Y_value] = \
df[(df[var_name]==var_value)&(df[Y_name]==Y_value)][var_name].count()
'''
input_df = input_df[[var_name,Y_name]] #取資料
all_cnt = input_df[Y_name].count() #樣本總數
all_0_cnt = input_df[input_df[Y_name] == 0].shape[0] # 二分類的樣本數量
all_1_cnt = input_df[input_df[Y_name] == 1].shape[0]
expect_0_ratio = all_0_cnt * 1.0 / all_cnt #樣本分類比例
expect_1_ratio = all_1_cnt * 1.0 / all_cnt
#對變數的每個值計算實際個數，期望個數，卡方統計量
var_values = sorted(list(set(input_df[var_name])))
actual_0_cnt = [] # actual_0 該值，類別為0的數量
actual_1_cnt = [] # actual_1 該值，類別為1的數量
actual_all_cnt = []
expect_0_cnt = [] # expect_0 類別0 的卡方值
expect_1_cnt = [] # expect_1 類別1 的卡方值
chi2_value = [] # chi2_value 該組的卡方值
for value in var_values:
actual_0 = input_df[(input_df[var_name]==value)&(input_df[Y_name]==0)].shape[0] #該值，類別為0的數量
actual_1 = input_df[(input_df[var_name]==value)&(input_df[Y_name]==1)].shape[0]
actual_all = actual_0 + actual_1 #總數
expect_0 = actual_all * expect_0_ratio #類別0 的 期望頻率
expect_1 = actual_all * expect_1_ratio
chi2_0 = (expect_0 - actual_0)**2 / expect_0 #類別0 的卡方值
chi2_1 = (expect_1 - actual_1)**2 / expect_1
actual_0_cnt.append(actual_0) #樣本為0的，該值的數量
actual_1_cnt.append(actual_1)
actual_all_cnt.append(actual_all) #改組的總樣本數
expect_0_cnt.append(expect_0) #類別0 的 期望頻率
expect_1_cnt.append(expect_1)
chi2_value.append(chi2_0 + chi2_1) #改變數值的卡方值
chi2_result = pd.DataFrame({'actual_0':actual_0_cnt,'actual_1':actual_1_cnt,'expect_0':expect_0_cnt,\
'expect_1':expect_1_cnt,'chi2_value':chi2_value,var_name+'_start':var_values,\
var_name+'_end':var_values},\
columns=[var_name+'_start',var_name+'_end','actual_0','actual_1','expect_0','expect_1','chi2_value'])
return chi2_result,var_name
#定義合併區間的方法
def merge_area(chi2_result,idx,merge_idx):
#按照idx和merge_idx執行合併
chi2_result.ix[idx,'actual_0'] = chi2_result.ix[idx,'actual_0'] + chi2_result.ix[merge_idx,'actual_0']
chi2_result.ix[idx,'actual_1'] = chi2_result.ix[idx,'actual_1'] + chi2_result.ix[merge_idx,'actual_1']
chi2_result.ix[idx,'expect_0'] = chi2_result.ix[idx,'expect_0'] + chi2_result.ix[merge_idx,'expect_0']
chi2_result.ix[idx,'expect_1'] = chi2_result.ix[idx,'expect_1'] + chi2_result.ix[merge_idx,'expect_1']
chi2_0 = (chi2_result.ix[idx,'expect_0'] - chi2_result.ix[idx,'actual_0'])**2 / chi2_result.ix[idx,'expect_0']
chi2_1 = (chi2_result.ix[idx,'expect_1'] - chi2_result.ix[idx,'actual_1'])**2 / chi2_result.ix[idx,'expect_1']
chi2_result.ix[idx,'chi2_value'] = chi2_0 + chi2_1 #計算卡方值
#調整每個區間的起始值
if idx < merge_idx:
chi2_result.ix[idx,var_name+'_end'] = chi2_result.ix[merge_idx,var_name+'_end'] #向後擴大範圍
else:
chi2_result.ix[idx,var_name+'_start'] = chi2_result.ix[merge_idx,var_name+'_start'] ##，向前擴大範圍
chi2_result = chi2_result.drop([merge_idx]) #刪掉行
chi2_result = chi2_result.reset_index(drop=True)
return chi2_result
#自動進行分箱，使用最大區間限制
def chiMerge_maxInterval(chi2_result,max_interval=5): #最大分箱數 為 5
groups = chi2_result.shape[0] #各組的卡方值，數量
while groups > max_interval:
min_idx = chi2_result[chi2_result['chi2_value']==chi2_result['chi2_value'].min()].index.tolist()[0] #尋找最小的卡方值
if min_idx == 0:
chi2_result = merge_area(chi2_result,min_idx,min_idx+1) #合併1和2組
elif min_idx == groups-1:
chi2_result = merge_area(chi2_result,min_idx-1)
else: #尋找左右兩邊更小的卡方組
if chi2_result.loc[min_idx-1,'chi2_value'] > chi2_result.loc[min_idx+1,'chi2_value']:
chi2_result = merge_area(chi2_result,min_idx+1)
else:
chi2_result = merge_area(chi2_result,min_idx-1)
groups = chi2_result.shape[0]
return chi2_result
def chiMerge_minChiSquare(chi2_result,var_name): #(chi_result,maxInterval=5):
'''
卡方分箱合併--卡方閾值法，，同時限制，最大組為6組，，可以去掉
'''
threshold = get_chiSquare_distribution(4,0.1)
min_chiSquare = chi2_result['chi2_value'].min()
#min_chiSquare = chi_result['chi_square'].min()
group_cnt = len(chi2_result)
# 如果變數區間的最小卡方值小於閾值，則繼續合併直到最小值大於等於閾值
while(min_chiSquare < threshold and group_cnt > 6):
min_idx = chi2_result[chi2_result['chi2_value']==chi2_result['chi2_value'].min()].index.tolist()[0] #尋找最小的卡方值
#min_index = chi_result[chi_result['chi_square']==chi_result['chi_square'].min()].index.tolist()[0]
# 如果分箱區間在最前,則向下合併
if min_idx == 0:
chi2_result = merge_area(chi2_result,min_idx+1) #合併1和2組
elif min_idx == group_cnt -1:
chi2_result = merge_area(chi2_result,min_idx-1)
min_chiSquare = chi2_result['chi2_value'].min()
group_cnt = len(chi2_result)
return chi2_result
#分箱主體部分包括兩種分箱方法的主體函式，其中merge_chiSquare()是對區間進行合併，
#get_chiSquare_distribution()是根據自由度和置信度得到卡方閾值。我在這裡設定的是自由度為4
#，置信度為10%。兩個自定義函式如下
def get_chiSquare_distribution(dfree=4,cf=0.1):
'''
根據自由度和置信度得到卡方分佈和閾值
dfree:自由度k= (行數-1)*(列數-1)，預設為4 #問題，自由度k,如何來確定？
cf:顯著性水平，預設10%
'''
percents = [ 0.95,0.90,0.5,0.1,0.05,0.025,0.01,0.005]
df = pd.DataFrame(np.array([chi2.isf(percents,df=i) for i in range(1,30)]))
df.columns = percents
df.index = df.index+1
# 顯示小數點後面數字
pd.set_option('precision',3)
return df.loc[dfree,cf]
以上這篇python實現二分類的卡方分箱示例就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支援我們。