歡迎關注天善智慧，我們是專注於商業智慧BI，人工智慧AI，大資料分析與挖掘領域的垂直社群，學習，問答、求職一站式搞定！

對商業智慧BI、大資料分析挖掘、機器學習，python，R等資料領域感興趣的同學加微信：tsaiedu，並註明訊息來源，邀請你進入資料愛好者交流群，資料愛好者們都在這兒。

本文來自天善智慧社群專欄作者[文文](https://ask.hellobi.com/people/%E7%9F%B3%E6%99%93%E6%96%87)

配套學習視訊教程： [手把手教你用Python 實踐深度學習](https://edu.hellobi.com/course/278)

寫在前面的話

GBDT和LR的融合在廣告點選率預估中算是發展比較早的演算法，為什麼會在這裡寫這麼一篇呢？本來想嘗試寫一下阿里的深度興趣網路(Deep Interest Network)，發現阿里之前還有一個演算法MLR，然後去查詢相關的資料，裡面提及了樹模型也就是GBDT+LR方案的缺點，恰好之前也不太清楚GBDT+LR到底是怎麼做的，所以今天我們先來了解一下GBDT和LR的融合方案。

1、背景

在CTR預估問題的發展初期，使用最多的方法就是邏輯迴歸(LR)，LR使用了Sigmoid變換將函式值對映到0~1區間，對映後的函式值就是CTR的預估值。

LR屬於線性模型，容易並行化，可以輕鬆處理上億條資料，但是學習能力十分有限，需要大量的特徵工程來增加模型的學習能力。但大量的特徵工程耗時耗力同時並不一定會帶來效果提升。因此，如何自動發現有效的特徵、特徵組合，彌補人工經驗不足，縮短LR特徵實驗週期，是亟需解決的問題。

FM模型通過隱變數的方式，發現兩兩特徵之間的組合關係，但這種特徵組合僅限於兩兩特徵之間，後來發展出來了使用深度神經網路去挖掘更高層次的特徵組合關係。但其實在使用神經網路之前，GBDT也是一種經常用來發現特徵組合的有效思路。

Facebook 2014年的文章介紹了通過GBDT解決LR的特徵組合問題，隨後Kaggle競賽也有實踐此思路，GBDT與LR融合開始引起了業界關注。

在介紹這個模型之前，我們先來介紹兩個問題：

1）為什麼要使用整合的決策樹模型，而不是單棵的決策樹模型：一棵樹的表達能力很弱，不足以表達多個有區分性的特徵組合，多棵樹的表達能力更強一些。可以更好的發現有效的特徵和特徵組合

2）為什麼建樹採用GBDT而非RF：RF也是多棵樹，但從效果上有實踐證明不如GBDT。且GBDT前面的樹，特徵分裂主要體現對多數樣本有區分度的特徵；後面的樹，主要體現的是經過前N顆樹，殘差仍然較大的少數樣本。優先選用在整體上有區分度的特徵，再選用針對少數樣本有區分度的特徵，思路更加合理，這應該也是用GBDT的原因。

瞭解了為什麼要用GBDT，我們就來看看到底二者是怎麼融合的吧！

2、GBDT和LR的融合方案

GBDT和LR的融合方案，FaceBook的paper中有個例子：

圖中共有兩棵樹，x為一條輸入樣本，遍歷兩棵樹後，x樣本分別落到兩顆樹的葉子節點上，每個葉子節點對應LR一維特徵，那麼通過遍歷樹，就得到了該樣本對應的所有LR特徵。構造的新特徵向量是取值0/1的。舉例來說：上圖有兩棵樹，左樹有三個葉子節點，右樹有兩個葉子節點，最終的特徵即為五維的向量。對於輸入x，假設他落在左樹第一個節點，編碼[1,0,0]，落在右樹第二個節點則編碼[0,1]，所以整體的編碼為[1,0,0,0,1]，這類編碼作為特徵，輸入到LR中進行分類。

這個方案還是很簡單的吧，在繼續介紹下去之前，我們先介紹一下程式碼實踐部分。

3、GBDT+LR程式碼實踐

本文介紹的程式碼只是一個簡單的Demo，實際中大家需要根據自己的需要進行參照或者修改。

訓練GBDT模型

本文使用lightgbm包來訓練我們的GBDT模型，訓練共100棵樹，每棵樹有64個葉子結點。

df_train = pd.read_csv('data/train.csv')

df_test= pd.read_csv('data/test.csv')

NUMERIC_COLS = [

"ps_reg_01","ps_reg_02","ps_reg_03",

"ps_car_12","ps_car_13","ps_car_14","ps_car_15",

]

print(df_test.head(10))

y_train = df_train['target']# training label

y_test= df_test['target']# testing label

X_train = df_train[NUMERIC_COLS]# training dataset

X_test= df_test[NUMERIC_COLS]# testing dataset

# create dataset for lightgbm

lgb_train = lgb.Dataset(X_train, y_train)

lgb_eval= lgb.Dataset(X_test, y_test, reference=lgb_train)

params = {

'task':'train',

'boosting_type':'gbdt',

'objective':'binary',

'metric': {'binary_logloss'},

'num_leaves':64,

'num_trees':100,

'learning_rate':0.01,

'feature_fraction':0.9,

'bagging_fraction':0.8,

'bagging_freq':5,

'verbose':0

}

# number of leaves,will be used in feature transformation

num_leaf =64

print('Start training...')

# train

gbm = lgb.train(params,

lgb_train,

num_boost_round=100,

valid_sets=lgb_train)

print('Save model...')

# save model to file

gbm.save_model('model.txt')

print('Start predicting...')

# predict and get data on leaves, training data

特徵轉換

在訓練得到100棵樹之後，我們需要得到的不是GBDT的預測結果，而是每一條訓練資料落在了每棵樹的哪個葉子結點上，因此需要使用下面的語句：

y_pred = gbm.predict(X_train, pred_leaf=True)

列印上面結果的輸出，可以看到shape是(8001,100)，即訓練資料量*樹的棵樹

print(np.array(y_pred).shape)

print(y_pred[0])

結果為：

(8001,100)

[[43264747471936195052290004623132727131022010

45717555457594222222213852755823581416161032

603244444465748573454635645513231551400

474010292424312455341322576066575557161218

30151730]]

然後我們需要將每棵樹的特徵進行one-hot處理，如前面所說，假設第一棵樹落在43號葉子結點上，那我們需要建立一個64維的向量，除43維之外全部都是0。因此用於LR訓練的特徵維數共num_trees * num_leaves。

print('Writing transformed training data')

transformed_training_matrix = np.zeros([len(y_pred), len(y_pred[0]) * num_leaf],

dtype=np.int64)

#N* num_tress * num_leafsforiinrange(0,len(y_pred)):

temp = np.arange(len(y_pred[0])) * num_leaf + np.array(y_pred[I])

transformed_training_matrix[i][temp] +=1

當然，對於測試集也要進行同樣的處理:

y_pred = gbm.predict(X_test, pred_leaf=True)

print('Writing transformed testing data')

transformed_testing_matrix = np.zeros([len(y_pred), len(y_pred[0]) * num_leaf], dtype=np.int64)

foriinrange(0,len(y_pred)):

temp = np.arange(len(y_pred[

0])) * num_leaf + np.array(y_pred[I])

transformed_testing_matrix[i][temp] +=

1

LR訓練

然後我們可以用轉換後的訓練集特徵和label訓練我們的LR模型，並對測試集進行測試：

lm = LogisticRegression(penalty='l2',C=0.05)# logestic model construction

lm.fit(transformed_training_matrix,y_train)# fitting the data

y_pred_test= lm.predict_proba(transformed_testing_matrix)# Give the probabilty on each label

我們這裡得到的不是簡單的類別，而是每個類別的概率。

效果評價

在Facebook的paper中，模型使用NE(Normalized Cross-Entropy)，進行評價，計算公式如下:

程式碼如下：

NE = (-1) / len(y_pred_test) * sum(((1+y_test)/2* np.log(y_pred_test[:,1]) +  (1-y_test)/2* np.log(1- y_pred_test[:,1])))

print("Normalized Cross Entropy "+ str(NE))

4、反思

現在的GBDT和LR的融合方案真的適合現在的大多數業務資料麼？現在的業務資料是什麼？是大量離散特徵導致的高維度離散資料。而樹模型對這樣的離散特徵，是不能很好處理的，要說為什麼，因為這容易導致過擬合。下面的一段話來自知乎：

用蓋坤的話說，GBDT只是對歷史的一個記憶罷了，沒有推廣性，或者說泛化能力。

但這並不是說對於大規模的離散特徵，GBDT和LR的方案不再適用，感興趣的話大家可以看一下參考文獻2和3，這裡就不再介紹了。

剛才提到了阿里的蓋坤大神，他的團隊在2017年提出了兩個重要的用於CTR預估的模型，MLR和DIN，之後的系列中，我們會講解這兩種模型的理論和實戰！歡迎大家繼續關注！

參考文獻：