sklearn.linear_model——梯度提升樹(GBDT)調參小結
1. scikit-learn GBDT類庫概述
在sacikit-learn中，GradientBoostingClassifier為GBDT的分類類， 而GradientBoostingRegressor為GBDT的迴歸類。兩者的引數型別完全相同，當然有些引數比如損失函式loss的可選擇項並不相同。這些引數中，類似於Adaboost，我們把重要引數分為兩類，第一類是Boosting框架的重要引數，第二類是弱學習器即CART迴歸樹的重要引數。
下面我們就從這兩個方面來介紹這些引數的使用。
2. GBDT類庫boosting框架引數
首先，我們來看boosting框架相關的重要引數。由於GradientBoostingClassifier和GradientBoostingRegressor的引數絕大部分相同，我們下面會一起來講，不同點會單獨指出。
1) n_estimators: 也就是弱學習器的最大迭代次數，或者說最大的弱學習器的個數。一般來說n_estimators太小，容易欠擬合，n_estimators太大，又容易過擬合，一般選擇一個適中的數值。預設是100。在實際調參的過程中，我們常常將n_estimators和下面介紹的引數learning_rate一起考慮。
2) learning_rate: 即每個弱學習器的權重縮減係數νν，也稱作步長，在原理篇的正則化章節我們也講到了，加上了正則化項，我們的強學習器的迭代公式為fk(x)=fk−1(x)+νhk(x)fk(x)=fk−1(x)+νhk(x)。νν的取值範圍為0
3) subsample: 即我們在原理篇的正則化章節講到的子取樣，取值為(0,1]。注意這裡的子取樣和隨機森林不一樣，隨機森林使用的是放回抽樣，而這裡是不放回抽樣。如果取值為1，則全部樣本都使用，等於沒有使用子取樣。如果取值小於1，則只有一部分樣本會去做GBDT的決策樹擬合。選擇小於1的比例可以減少方差，即防止過擬合，但是會增加樣本擬合的偏差，因此取值不能太低。推薦在[0.5, 0.8]之間，預設是1.0，即不使用子取樣。
4) init: 即我們的初始化的時候的弱學習器，擬合對應原理篇裡面的f0(x)f0(x)，如果不輸入，則用訓練集樣本來做樣本集的初始化分類迴歸預測。否則用init引數提供的學習器做初始化分類迴歸預測。一般用在我們對資料有先驗知識，或者之前做過一些擬合的時候，如果沒有的話就不用管這個引數了。
5) loss: 即我們GBDT演算法中的損失函式。分類模型和迴歸模型的損失函式是不一樣的。
對於分類模型，有對數似然損失函式"deviance"和指數損失函式"exponential"兩者輸入選擇。預設是對數似然損失函式"deviance"。在原理篇中對這些分類損失函式有詳細的介紹。一般來說，推薦使用預設的"deviance"。它對二元分離和多元分類各自都有比較好的優化。而指數損失函式等於把我們帶到了Adaboost演算法。
對於迴歸模型，有均方差"ls", 絕對損失"lad", Huber損失"huber"和分位數損失“quantile”。預設是均方差"ls"。一般來說，如果資料的噪音點不多，用預設的均方差"ls"比較好。如果是噪音點較多，則推薦用抗噪音的損失函式"huber"。而如果我們需要對訓練集進行分段預測的時候，則採用“quantile”。
6) alpha：這個引數只有GradientBoostingRegressor有，當我們使用Huber損失"huber"和分位數損失“quantile”時，需要指定分位數的值。預設是0.9，如果噪音點較多，可以適當降低這個分位數的值。
3. GBDT類庫弱學習器引數
這裡我們再對GBDT的類庫弱學習器的重要引數做一個總結。由於GBDT使用了CART迴歸決策樹，因此它的引數基本來源於決策樹類，也就是說，和DecisionTreeClassifier和DecisionTreeRegressor的引數基本類似。如果你已經很熟悉決策樹演算法的調參，那麼這一節基本可以跳過。不熟悉的朋友可以繼續看下去。
1) 劃分時考慮的最大特徵數max_features: 可以使用很多種型別的值，預設是"None",意味著劃分時考慮所有的特徵數；如果是"log2"意味著劃分時最多考慮log2Nlog2N個特徵；如果是"sqrt"或者"auto"意味著劃分時最多考慮N−−√N個特徵。如果是整數，代表考慮的特徵絕對數。如果是浮點數，代表考慮特徵百分比，即考慮（百分比xN）取整後的特徵數。其中N為樣本總特徵數。一般來說，如果樣本特徵數不多，比如小於50，我們用預設的"None"就可以了，如果特徵數非常多，我們可以靈活使用剛才描述的其他取值來控制劃分時考慮的最大特徵數，以控制決策樹的生成時間。
2) 決策樹最大深度max_depth: 預設可以不輸入，如果不輸入的話，決策樹在建立子樹的時候不會限制子樹的深度。一般來說，資料少或者特徵少的時候可以不管這個值。如果模型樣本量多，特徵也多的情況下，推薦限制這個最大深度，具體的取值取決於資料的分佈。常用的可以取值10-100之間。
3) 內部節點再劃分所需最小樣本數min_samples_split: 這個值限制了子樹繼續劃分的條件，如果某節點的樣本數少於min_samples_split，則不會繼續再嘗試選擇最優特徵來進行劃分。 預設是2.如果樣本量不大，不需要管這個值。如果樣本量數量級非常大，則推薦增大這個值。
4) 葉子節點最少樣本數min_samples_leaf: 這個值限制了葉子節點最少的樣本數，如果某葉子節點數目小於樣本數，則會和兄弟節點一起被剪枝。 預設是1,可以輸入最少的樣本數的整數，或者最少樣本數佔樣本總數的百分比。如果樣本量不大，不需要管這個值。如果樣本量數量級非常大，則推薦增大這個值。
5）葉子節點最小的樣本權重和min_weight_fraction_leaf：這個值限制了葉子節點所有樣本權重和的最小值，如果小於這個值，則會和兄弟節點一起被剪枝。 預設是0，就是不考慮權重問題。一般來說，如果我們有較多樣本有缺失值，或者分類樹樣本的分佈類別偏差很大，就會引入樣本權重，這時我們就要注意這個值了。
6) 最大葉子節點數max_leaf_nodes: 通過限制最大葉子節點數，可以防止過擬合，預設是"None”，即不限制最大的葉子節點數。如果加了限制，演算法會建立在最大葉子節點數內最優的決策樹。如果特徵不多，可以不考慮這個值，但是如果特徵分成多的話，可以加以限制，具體的值可以通過交叉驗證得到。
7) 節點劃分最小不純度min_impurity_split: 這個值限制了決策樹的增長，如果某節點的不純度(基於基尼係數，均方差)小於這個閾值，則該節點不再生成子節點。即為葉子節點 。一般不推薦改動預設值1e-7。
4. GBDT調參例項
這裡我們用一個二元分類的例子來講解下GBDT的調參。這部分參考了這個Github上的資料調參過程Parameter_Tuning_GBM_with_Example。這個例子的資料有87000多行，單機跑會比較慢，下面的例子我只選擇了它的前面20000行，我將其打包後，下載地址在這。
首先，我們載入需要的類庫：
import pandas as pd import numpy as np from sklearn.ensemble import GradientBoostingClassifier from sklearn import cross_validation, metrics from sklearn.grid_search import GridSearchCV import matplotlib.pylab as plt %matplotlib inline
接著，我們把解壓的資料用下面的程式碼載入，順便看看資料的類別分佈。
train = pd.read_csv('train_modified.csv') target='Disbursed' # Disbursed的值就是二元分類的輸出 IDcol = 'ID' train['Disbursed'].value_counts()
可以看到類別輸出如下，也就是類別0的佔大多數。
0 19680 1 320 Name: Disbursed, dtype: int64
現在我們得到我們的訓練集。最後一列Disbursed是分類輸出。前面的所有列（不考慮ID列）都是樣本特徵。
x_columns = [x for x in train.columns if x not in [target, IDcol]] X = train[x_columns] y = train['Disbursed']
不管任何引數，都用預設的，我們擬合下資料看看：
gbm0 = GradientBoostingClassifier(random_state=10) gbm0.fit(X,y) y_pred = gbm0.predict(X) y_predprob = gbm0.predict_proba(X)[:,1] print "Accuracy : %.4g" % metrics.accuracy_score(y.values, y_pred) print "AUC Score (Train): %f" % metrics.roc_auc_score(y, y_predprob)
輸出如下，可見擬合還可以，我們下面看看怎麼通過調參提高模型的泛化能力。
Accuracy : 0.9852 AUC Score (Train): 0.900531
首先我們從步長(learning rate)和迭代次數(n_estimators)入手。一般來說,開始選擇一個較小的步長來網格搜尋最好的迭代次數。這裡，我們將步長初始值設定為0.1。對於迭代次數進行網格搜尋如下：
param_test1 = {'n_estimators':range(20,81,10)}
gsearch1 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, min_samples_split=300,
min_samples_leaf=20,max_depth=8,max_features='sqrt', subsample=0.8,random_state=10),
param_grid = param_test1, scoring='roc_auc',iid=False,cv=5)
gsearch1.fit(X,y)
gsearch1.grid_scores_, gsearch1.best_params_, gsearch1.best_score_
輸出如下，可見最好的迭代次數是60。
([mean: 0.81285, std: 0.01967, params: {'n_estimators': 20},
mean: 0.81438, std: 0.01947, params: {'n_estimators': 30},
mean: 0.81451, std: 0.01933, params: {'n_estimators': 40},
mean: 0.81618, std: 0.01848, params: {'n_estimators': 50},
mean: 0.81751, std: 0.01736, params: {'n_estimators': 60},
mean: 0.81547, std: 0.01900, params: {'n_estimators': 70},
mean: 0.81299, std: 0.01860, params: {'n_estimators': 80}],
{'n_estimators': 60},
0.8175146087398375)
找到了一個合適的迭代次數，現在我們開始對決策樹進行調參。首先我們對決策樹最大深度max_depth和內部節點再劃分所需最小樣本數min_samples_split進行網格搜尋。
param_test2 = {'max_depth':range(3,14,2), 'min_samples_split':range(100,801,200)}
gsearch2 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, n_estimators=60, min_samples_leaf=20,
max_features='sqrt', subsample=0.8, random_state=10),
param_grid = param_test2, scoring='roc_auc',iid=False, cv=5)
gsearch2.fit(X,y)
gsearch2.grid_scores_, gsearch2.best_params_, gsearch2.best_score_
輸出如下，可見最好的最大樹深度是7，內部節點再劃分所需最小樣本數是300。
([mean: 0.81199, std: 0.02073, params: {'min_samples_split': 100, 'max_depth': 3},
mean: 0.81267, std: 0.01985, params: {'min_samples_split': 300, 'max_depth': 3},
mean: 0.81238, std: 0.01937, params: {'min_samples_split': 500, 'max_depth': 3},
mean: 0.80925, std: 0.02051, params: {'min_samples_split': 700, 'max_depth': 3},
mean: 0.81846, std: 0.01843, params: {'min_samples_split': 100, 'max_depth': 5},
mean: 0.81630, std: 0.01810, params: {'min_samples_split': 300, 'max_depth': 5},
mean: 0.81315, std: 0.01898, params: {'min_samples_split': 500, 'max_depth': 5},
mean: 0.81262, std: 0.02090, params: {'min_samples_split': 700, 'max_depth': 5},
mean: 0.81807, std: 0.02004, params: {'min_samples_split': 100, 'max_depth': 7},
mean: 0.82137, std: 0.01733, params: {'min_samples_split': 300, 'max_depth': 7},
mean: 0.81703, std: 0.01773, params: {'min_samples_split': 500, 'max_depth': 7},
mean: 0.81383, std: 0.02327, params: {'min_samples_split': 700, 'max_depth': 7},
mean: 0.81107, std: 0.02178, params: {'min_samples_split': 100, 'max_depth': 9},
mean: 0.80944, std: 0.02612, params: {'min_samples_split': 300, 'max_depth': 9},
mean: 0.81476, std: 0.01973, params: {'min_samples_split': 500, 'max_depth': 9},
mean: 0.81601, std: 0.02576, params: {'min_samples_split': 700, 'max_depth': 9},
mean: 0.81091, std: 0.02227, params: {'min_samples_split': 100, 'max_depth': 11},
mean: 0.81309, std: 0.02696, params: {'min_samples_split': 300, 'max_depth': 11},
mean: 0.81713, std: 0.02379, params: {'min_samples_split': 500, 'max_depth': 11},
mean: 0.81347, std: 0.02702, params: {'min_samples_split': 700, 'max_depth': 11},
mean: 0.81444, std: 0.01813, params: {'min_samples_split': 100, 'max_depth': 13},
mean: 0.80825, std: 0.02291, params: {'min_samples_split': 300, 'max_depth': 13},
mean: 0.81923, std: 0.01693, params: {'min_samples_split': 500, 'max_depth': 13},
mean: 0.81382, std: 0.02258, params: {'min_samples_split': 700, 'max_depth': 13}],
{'max_depth': 7, 'min_samples_split': 300},
0.8213724275914632)
由於決策樹深度7是一個比較合理的值，我們把它定下來，對於內部節點再劃分所需最小樣本數min_samples_split，我們暫時不能一起定下來，因為這個還和決策樹其他的引數存在關聯。下面我們再對內部節點再劃分所需最小樣本數min_samples_split和葉子節點最少樣本數min_samples_leaf一起調參。
param_test3 = {'min_samples_split':range(800,1900,200), 'min_samples_leaf':range(60,101,10)}
gsearch3 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, n_estimators=60,max_depth=7,
max_features='sqrt', subsample=0.8, random_state=10),
param_grid = param_test3, scoring='roc_auc',iid=False, cv=5)
gsearch3.fit(X,y)
gsearch3.grid_scores_, gsearch3.best_params_, gsearch3.best_score_
輸出結果如下，可見這個min_samples_split在邊界值，還有進一步除錯小於邊界60的必要。由於這裡只是例子，所以大家可以自己下來用包含小於60的網格搜尋來尋找合適的值。
([mean: 0.81828, std: 0.02251, params: {'min_samples_split': 800, 'min_samples_leaf': 60},
mean: 0.81731, std: 0.02344, params: {'min_samples_split': 1000, 'min_samples_leaf': 60},
mean: 0.82220, std: 0.02250, params: {'min_samples_split': 1200, 'min_samples_leaf': 60},
mean: 0.81447, std: 0.02125, params: {'min_samples_split': 1400, 'min_samples_leaf': 60},
mean: 0.81495, std: 0.01626, params: {'min_samples_split': 1600, 'min_samples_leaf': 60},
mean: 0.81528, std: 0.02140, params: {'min_samples_split': 1800, 'min_samples_leaf': 60},
mean: 0.81590, std: 0.02517, params: {'min_samples_split': 800, 'min_samples_leaf': 70},
mean: 0.81573, std: 0.02207, params: {'min_samples_split': 1000, 'min_samples_leaf': 70},
mean: 0.82021, std: 0.02521, params: {'min_samples_split': 1200, 'min_samples_leaf': 70},
mean: 0.81512, std: 0.01995, params: {'min_samples_split': 1400, 'min_samples_leaf': 70},
mean: 0.81395, std: 0.02081, params: {'min_samples_split': 1600, 'min_samples_leaf': 70},
mean: 0.81587, std: 0.02082, params: {'min_samples_split': 1800, 'min_samples_leaf': 70},
mean: 0.82064, std: 0.02698, params: {'min_samples_split': 800, 'min_samples_leaf': 80},
mean: 0.81490, std: 0.02475, params: {'min_samples_split': 1000, 'min_samples_leaf': 80},
mean: 0.82009, std: 0.02568, params: {'min_samples_split': 1200, 'min_samples_leaf': 80},
mean: 0.81850, std: 0.02226, params: {'min_samples_split': 1400, 'min_samples_leaf': 80},
mean: 0.81855, std: 0.02099, params: {'min_samples_split': 1600, 'min_samples_leaf': 80},
mean: 0.81666, std: 0.02249, params: {'min_samples_split': 1800, 'min_samples_leaf': 80},
mean: 0.81960, std: 0.02437, params: {'min_samples_split': 800, 'min_samples_leaf': 90},
mean: 0.81560, std: 0.02235, params: {'min_samples_split': 1000, 'min_samples_leaf': 90},
mean: 0.81936, std: 0.02542, params: {'min_samples_split': 1200, 'min_samples_leaf': 90},
mean: 0.81362, std: 0.02254, params: {'min_samples_split': 1400, 'min_samples_leaf': 90},
mean: 0.81429, std: 0.02417, params: {'min_samples_split': 1600, 'min_samples_leaf': 90},
mean: 0.81299, std: 0.02262, params: {'min_samples_split': 1800, 'min_samples_leaf': 90},
mean: 0.82000, std: 0.02511, params: {'min_samples_split': 800, 'min_samples_leaf': 100},
mean: 0.82209, std: 0.01816, params: {'min_samples_split': 1000, 'min_samples_leaf': 100},
mean: 0.81821, std: 0.02337, params: {'min_samples_split': 1200, 'min_samples_leaf': 100},
mean: 0.81922, std: 0.02377, params: {'min_samples_split': 1400, 'min_samples_leaf': 100},
mean: 0.81545, std: 0.02221, params: {'min_samples_split': 1600, 'min_samples_leaf': 100},
mean: 0.81704, std: 0.02509, params: {'min_samples_split': 1800, 'min_samples_leaf': 100}],
{'min_samples_leaf': 60, 'min_samples_split': 1200},
0.8222032996697154)
我們調了這麼多引數了，終於可以都放到GBDT類裡面去看看效果了。現在我們用新引數擬合數據：
gbm1 = GradientBoostingClassifier(learning_rate=0.1, n_estimators=60,max_depth=7, min_samples_leaf =60, min_samples_split =1200, max_features='sqrt', subsample=0.8, random_state=10) gbm1.fit(X,y) y_pred = gbm1.predict(X) y_predprob = gbm1.predict_proba(X)[:,1] print "Accuracy : %.4g" % metrics.accuracy_score(y.values, y_pred) print "AUC Score (Train): %f" % metrics.roc_auc_score(y, y_predprob)
輸出如下：
Accuracy : 0.984 AUC Score (Train): 0.908099
對比我們最開始完全不調參的擬合效果，可見精確度稍有下降，主要原理是我們使用了0.8的子取樣，20%的資料沒有參與擬合。
現在我們再對最大特徵數max_features進行網格搜尋。
param_test4 = {'max_features':range(7,20,2)}
gsearch4 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, n_estimators=60,max_depth=7, min_samples_leaf =60,
min_samples_split =1200, subsample=0.8, random_state=10),
param_grid = param_test4, scoring='roc_auc',iid=False, cv=5)
gsearch4.fit(X,y)
gsearch4.grid_scores_, gsearch4.best_params_, gsearch4.best_score_
輸出如下：
([mean: 0.82220, std: 0.02250, params: {'max_features': 7},
mean: 0.82241, std: 0.02421, params: {'max_features': 9},
mean: 0.82108, std: 0.02302, params: {'max_features': 11},
mean: 0.82064, std: 0.01900, params: {'max_features': 13},
mean: 0.82198, std: 0.01514, params: {'max_features': 15},
mean: 0.81355, std: 0.02053, params: {'max_features': 17},
mean: 0.81877, std: 0.01863, params: {'max_features': 19}],
{'max_features': 9},
0.822412506351626)
現在我們再對子取樣的比例進行網格搜尋：
param_test5 = {'subsample':[0.6,0.7,0.75,0.8,0.85,0.9]}
gsearch5 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, n_estimators=60,max_depth=7, min_samples_leaf =60,
min_samples_split =1200, max_features=9, random_state=10),
param_grid = param_test5, scoring='roc_auc',iid=False, cv=5)
gsearch5.fit(X,y)
gsearch5.grid_scores_, gsearch5.best_params_, gsearch5.best_score_
輸出如下：
([mean: 0.81828, std: 0.02392, params: {'subsample': 0.6},
mean: 0.82344, std: 0.02708, params: {'subsample': 0.7},
mean: 0.81673, std: 0.02196, params: {'subsample': 0.75},
mean: 0.82241, std: 0.02421, params: {'subsample': 0.8},
mean: 0.82285, std: 0.02446, params: {'subsample': 0.85},
mean: 0.81738, std: 0.02236, params: {'subsample': 0.9}],
{'subsample': 0.7},
0.8234378969766262)
現在我們基本已經得到我們所有調優的引數結果了。這時我們可以減半步長，最大迭代次數加倍來增加我們模型的泛化能力。再次擬合我們的模型：
gbm2 = GradientBoostingClassifier(learning_rate=0.05, n_estimators=120,max_depth=7, min_samples_leaf =60, min_samples_split =1200, max_features=9, subsample=0.7, random_state=10) gbm2.fit(X,y) y_pred = gbm2.predict(X) y_predprob = gbm2.predict_proba(X)[:,1] print "Accuracy : %.4g" % metrics.accuracy_score(y.values, y_pred) print "AUC Score (Train): %f" % metrics.roc_auc_score(y, y_predprob)
輸出如下：
Accuracy : 0.984 AUC Score (Train): 0.905324
可以看到AUC分數比起之前的版本稍有下降，這個原因是我們為了增加模型泛化能力，為防止過擬合而減半步長，最大迭代次數加倍，同時減小了子取樣的比例，從而減少了訓練集的擬合程度。
下面我們繼續將步長縮小5倍，最大迭代次數增加5倍，繼續擬合我們的模型：
gbm3 = GradientBoostingClassifier(learning_rate=0.01, n_estimators=600,max_depth=7, min_samples_leaf =60, min_samples_split =1200, max_features=9, subsample=0.7, random_state=10) gbm3.fit(X,y) y_pred = gbm3.predict(X) y_predprob = gbm3.predict_proba(X)[:,1] print "Accuracy : %.4g" % metrics.accuracy_score(y.values, y_pred) print "AUC Score (Train): %f" % metrics.roc_auc_score(y, y_predprob)
輸出如下，可見減小步長增加迭代次數可以在保證泛化能力的基礎上增加一些擬合程度。
Accuracy : 0.984 AUC Score (Train): 0.908581
最後我們繼續步長縮小一半，最大迭代次數增加2倍，擬合我們的模型：
gbm4 = GradientBoostingClassifier(learning_rate=0.005, n_estimators=1200,max_depth=7, min_samples_leaf =60, min_samples_split =1200, max_features=9, subsample=0.7, random_state=10) gbm4.fit(X,y) y_pred = gbm4.predict(X) y_predprob = gbm4.predict_proba(X)[:,1] print "Accuracy : %.4g" % metrics.accuracy_score(y.values, y_pred) print "AUC Score (Train): %f" % metrics.roc_auc_score(y, y_predprob)
輸出如下，此時由於步長實在太小，導致擬合效果反而變差，也就是說，步長不能設定的過小。
Accuracy : 0.984 AUC Score (Train): 0.908232