驗證過程

該資料集包含23個輸入變數(input variable)和一個響應變數（response variable）。該資料集來源於UCI machine learning repository,為某銀行的信用卡客戶資訊資料，共有30000個樣本，包括過去六個月的賬單還款情況。

Y：下個月還款違約情況（1=逾期，0=未逾期）

X1：信用額度，包括其個人和家庭補充信用。

X2：性別（1=male;2=female）

X3：教育（1=研究生，2=大學，3=高中，4=其他）

X4：婚姻狀況（1=已婚，2=單身，3=其他）

X5：年齡，age

X6-X11：過去六個月的還款情況。X6（2005年九月還款情況）。。。X11（2005年四月還款情況）。其中XN=-1,代表按時還款，XN=1,代表延時一個月還款，XN=2,代表延時兩個月還款，。。。，XN=n,代表延時n個月還款，

X12-X17：過去六個月的賬單數額情況。X12（2005年九月賬單數額情況）…X11（2005年四月賬單數額情況）。

X18-X23：過去六個月的還款數額情況。X18（2005年九月還款數額情況）…X23（2005年四月還款數額情況）。

環境配置

作業系統：windows7+64位

記憶體：4G

Cpu: intel core [email protected]2.6GHz

Python version: python 3.6.0

Python平臺：pycharm

首先獲取資料，將原始csv檔案轉化為txt檔案，逐行讀取資料，為利於後期迴歸運算將變數格式的資料統一轉化為float格式。在變數選取中我們本著類別變數均等，訓練矩陣隨機，訓練與測試矩陣28原則。

如下：

float(listFromLine[i])

分別定義標籤矩陣和變數矩陣，讀入客戶資料。

此模型預測變數為0或1。其中類別為1的變數6636個，類別為0的變數23364個。我們選擇相等的兩類樣本數0和1分別6600個。

首先進行資料集進行拆分，使用sklearn的cross_validation進行資料拆分。

from sklearn.cross_validationimport train_test_split

X_train,X_test, y_train, y_test=train_test_split(ran_M,rand_V)

（正例1662個，負例1638個。）

我們選擇13200個樣本，為了使得選取的樣本具有隨機性，由於原始樣本按照賬戶號輸入，可能存在一定的序列關聯性，打破原始順序的方法函式如下：

dataIndex = list(range(randM))
for j in range(randM):
    randIndex = int(random.uniform(0, len(dataIndex)))
    retm[j, :] =retm1[dataIndex[randIndex]]
    classV[j] =classV1[dataInde[randIndex]]
    del (dataIndex[randIndex])

首先定義一個list序列，然後利用隨機數函式，對序列取值，將取得的樣本值順序賦予新的序列矩陣。

變數篩選

計算輸入變數之間的相關係數，輸入變數與預測之間的相關關係。當資料量較大時，在進行corrcoef進行相關性計算時，超過了記憶體容量，出現memory error.我們只是為了大概掌握變數之間的相關程度，為避免memory error需進行矩陣的縮減，在這裡選取前5000行進行相關性計算。

從預測變數與輸入變數之間的相關係數可見，預測變數與大多數輸入變數之間的相關性較小，選取相關係數絕對值大於0.1的變數為LIMIT_BAL、PAY_1、PAY_2、PAY_3、PAY_4、PAY_5、PAY_6。

在進行變數處理時，可選擇歸一化、標準化、特徵化處理，也可根據變數大小進行類別化處理。LIMIT_BAL數值較大，求其百分位數，使用函式np.percentile(LIMIT_BAL)，對變數進行重新設定，選擇分位數80,50,30,0對應的值設定為（4,3,2,1）。

首先我們來驗證逐步增加變數的方法。首先選取LIMIT_BAL、PAY_1、PAY_2、PAY_3、PAY_4、PAY_5、PAY_6以及常量係數。