機器學習演算法GBDT的面試要點總結
轉自：https://www.cnblogs.com/ModifyRong/p/7744987.html
1.簡介
gbdt全稱梯度下降樹，在傳統機器學習演算法裡面是對真實分佈擬合的最好的幾種演算法之一，在前幾年深度學習還沒有大行其道之前，gbdt在各種競賽是大放異彩。原因大概有幾個，一是效果確實挺不錯。二是即可以用於分類也可以用於迴歸。三是可以篩選特徵。這三點實在是太吸引人了，導致在面試的時候大家也非常喜歡問這個演算法。 gbdt的面試考核點，大致有下面幾個:
- gbdt 的演算法的流程？
- gbdt 如何選擇特徵 ？
- gbdt 如何構建特徵 ？
- gbdt 如何用於分類？
- gbdt 通過什麼方式減少誤差 ？
- gbdt的效果相比於傳統的LR，SVM效果為什麼好一些 ？
- gbdt 如何加速訓練？
- gbdt的引數有哪些，如何調參 ？
- gbdt 實戰當中遇到的一些問題 ？
- gbdt的優缺點 ？
2. 正式介紹
首先gbdt 是通過採用加法模型（即基函式的線性組合），以及不斷減小訓練過程產生的殘差來達到將資料分類或者回歸的演算法。
- gbdt的訓練過程
我們通過一張圖片，
圖 1：GBDT 的訓練過程
gbdt通過多輪迭代,每輪迭代產生一個弱分類器，每個分類器在上一輪分類器的殘差基礎上進行訓練。對弱分類器的要求一般是足夠簡單，並且是低方差和高偏差的。因為訓練的過程是通過降低偏差來不斷提高最終分類器的精度，（此處是可以證明的）。
弱分類器一般會選擇為CART TREE（也就是分類迴歸樹）。由於上述高偏差和簡單的要求 每個分類迴歸樹的深度不會很深。最終的總分類器 是將每輪訓練得到的弱分類器加權求和得到的（也就是加法模型）。
模型最終可以描述為：
模型一共訓練M輪，每輪產生一個弱分類器 T(x;θm)T(x;θm)。弱分類器的損失函式
-
- 但是其實我們真正關注的，1.是希望損失函式能夠不斷的減小，2.是希望損失函式能夠儘可能快的減小。所以如何儘可能快的減小呢？
-
- 讓損失函式沿著梯度方向的下降。這個就是gbdt 的 gb的核心了。 利用損失函式的負梯度在當前模型的值作為迴歸問題提升樹演算法中的殘差的近似值去擬合一個迴歸樹。gbdt 每輪迭代的時候，都去擬合損失函式在當前模型下的負梯度。
-
- 這樣每輪訓練的時候都能夠讓損失函式儘可能快的減小，儘快的收斂達到區域性最優解或者全域性最優解。
- gbdt如何選擇特徵？
gbdt選擇特徵的細節其實是想問你CART Tree生成的過程。這裡有一個前提，gbdt的弱分類器預設選擇的是CART TREE。其實也可以選擇其他弱分類器的，選擇的前提是低方差和高偏差。框架服從boosting 框架即可。
下面我們具體來說CART TREE(是一種二叉樹) 如何生成。CART TREE 生成的過程其實就是一個選擇特徵的過程。假設我們目前總共有 M 個特徵。第一步我們需要從中選擇出一個特徵 j，做為二叉樹的第一個節點。然後對特徵 j 的值選擇一個切分點 m. 一個 樣本的特徵j的值 如果小於m，則分為一類，如果大於m,則分為另外一類。如此便構建了CART 樹的一個節點。其他節點的生成過程和這個是一樣的。現在的問題是在每輪迭代的時候，如何選擇這個特徵 j,以及如何選擇特徵 j 的切分點 m:
-
- 原始的gbdt的做法非常的暴力，首先遍歷每個特徵，然後對每個特徵遍歷它所有可能的切分點，找到最優特徵 m 的最優切分點 j。
-
- 如何衡量我們找到的特徵 m和切分點 j 是最優的呢？ 我們用定義一個函式 FindLossAndSplit 來展示一下求解過程：
def findLossAndSplit(x,y):
# 我們用 x 來表示訓練資料
# 我們用 y 來表示訓練資料的label
# x[i]表示訓練資料的第i個特徵
# x_i 表示第i個訓練樣本
# minLoss 表示最小的損失
minLoss = Integet.max_value
# feature 表示是訓練的資料第幾緯度的特徵
feature = 0
# split 表示切分點的個數
split = 0
# M 表示 樣本x的特徵個數
for j in range(0,M):
# 該維特徵下，特徵值的每個切分點，這裡具體的切分方式可以自己定義
for c in range(0,x[j]):
L = 0
# 第一類
R1 = {x|x[j] <= c}
# 第二類
R2 = {x|x[j] > c}
# 屬於第一類樣本的y值的平均值
y1 = ave{y|x 屬於 R1}
# 屬於第二類樣本的y值的平均值
y2 = ave{y| x 屬於 R2}
# 遍歷所有的樣本，找到 loss funtion 的值
for x_1 in all x
if x_1 屬於 R1：
L += (y_1 - y1)^2
else:
L += (y_1 - y2)^2
if L < minLoss:
minLoss = L
feature = i
split = c
return minLoss,feature ,split
-
- 如果對這段程式碼不是很瞭解的，可以先去看看李航第五章中對CART TREE 演算法的敘述。在這裡，我們先遍歷訓練樣本的所有的特徵，對於特徵 j，我們遍歷特徵 j 所有特徵值的切分點 c。找到可以讓下面這個式子最小的特徵 j 以及切分點c.
-
- gbdt 如何構建特徵 ?
其實說gbdt 能夠構建特徵並非很準確，gbdt 本身是不能產生特徵的，但是我們可以利用gbdt去產生特徵的組合。在CTR預估中，工業界一般會採用邏輯迴歸去進行處理,在我的上一篇博文當中已經說過，邏輯迴歸本身是適合處理線性可分的資料，如果我們想讓邏輯迴歸處理非線性的資料，其中一種方式便是組合不同特徵，增強邏輯迴歸對非線性分佈的擬合能力。
長久以來，我們都是通過人工的先驗知識或者實驗來獲得有效的組合特徵，但是很多時候，使用人工經驗知識來組合特徵過於耗費人力，造成了機器學習當中一個很奇特的現象：有多少人工就有多少智慧。關鍵是這樣通過人工去組合特徵並不一定能夠提升模型的效果。所以我們的從業者或者學界一直都有一個趨勢便是通過演算法自動，高效的尋找到有效的特徵組合。Facebook 在2014年 發表的一篇論文便是這種嘗試下的產物，利用gbdt去產生有效的特徵組合，以便用於邏輯迴歸的訓練，提升模型最終的效果。
圖 2：用GBDT 構造特徵
如圖 2所示，我們 使用 GBDT 生成了兩棵樹，兩顆樹一共有五個葉子節點。我們將樣本 X 輸入到兩顆樹當中去，樣本X 落在了第一棵樹的第二個葉子節點，第二顆樹的第一個葉子節點，於是我們便可以依次構建一個五緯的特徵向量，每一個緯度代表了一個葉子節點，樣本落在這個葉子節點上面的話那麼值為1，沒有落在該葉子節點的話，那麼值為 0.
於是對於該樣本，我們可以得到一個向量[0,1,0,1,0] 作為該樣本的組合特徵，和原來的特徵一起輸入到邏輯迴歸當中進行訓練。實驗證明這樣會得到比較顯著的效果提升。
- GBDT 如何用於分類 ？
首先明確一點，gbdt 無論用於分類還是迴歸一直都是使用的CART 迴歸樹。不會因為我們所選擇的任務是分類任務就選用分類樹，這裡面的核心是因為gbdt 每輪的訓練是在上一輪的訓練的殘差基礎之上進行訓練的。這裡的殘差就是當前模型的負梯度值 。這個要求每輪迭代的時候，弱分類器的輸出的結果相減是有意義的。殘差相減是有意義的。
如果選用的弱分類器是分類樹，類別相減是沒有意義的。上一輪輸出的是樣本 x 屬於 A類，本一輪訓練輸出的是樣本 x 屬於 B類。 A 和 B 很多時候甚至都沒有比較的意義，A 類- B類是沒有意義的。
我們具體到分類這個任務上面來，我們假設樣本 X 總共有 K類。來了一個樣本 x，我們需要使用gbdt來判斷 x 屬於樣本的哪一類。
-
圖三 gbdt 多分類演算法流程
第一步 我們在訓練的時候，是針對樣本 X 每個可能的類都訓練一個分類迴歸樹。舉例說明，目前樣本有三類，也就是 K = 3。樣本 x 屬於 第二類。那麼針對該樣本 x 的分類結果，其實我們可以用一個 三維向量 [0,1,0] 來表示。0表示樣本不屬於該類，1表示樣本屬於該類。由於樣本已經屬於第二類了，所以第二類對應的向量維度為1，其他位置為0。
針對樣本有 三類的情況，我們實質上是在每輪的訓練的時候是同時訓練三顆樹。第一顆樹針對樣本x的第一類，輸入為（x,0）。第二顆樹輸入針對 樣本x 的第二類，輸入為（x,1）。第三顆樹針對樣本x 的第三類，輸入為（x，0）
在這裡每顆樹的訓練過程其實就是就是我們之前已經提到過的CATR TREE 的生成過程。在此處我們參照之前的生成樹的程式 即可以就解出三顆樹，以及三顆樹對x 類別的預測值f1(x),f2(x),f3(x)。那麼在此類訓練中，我們仿照多分類的邏輯迴歸 ，使用softmax 來產生概率，則屬於類別 1 的概率
並且我們我們可以針對類別1 求出 殘差
然後開始第二輪訓練 針對第一類 輸入為
所以當K =3。我們其實應該有三個式子
當訓練完畢以後，新來一個樣本 x1 ，我們需要預測該樣本的類別的時候，便可以有這三個式子產生三個值，f1(x),f2(x),f3(x)。樣本屬於 某個類別c的概率為
- GBDT 多分類舉例說明
上面的理論闡述可能仍舊過於難懂，我們下面將拿Iris 資料集中的六個資料作為例子，來展示gbdt 多分類的過程。
-
-
圖四 Iris 資料集樣本編號 花萼長度(cm) 花萼寬度(cm) 花瓣長度(cm) 花瓣寬度 花的種類 1 5.1 3.5 1.4 0.2 山鳶尾 2 4.9 3.0 1.4 0.2 山鳶尾 3 7.0 3.2 4.7 1.4 雜色鳶尾 4 6.4 3.2 4.5 1.5 雜色鳶尾 5 6.3 3.3 6.0 2.5 維吉尼亞鳶尾 6 5.8 2.7 5.1 1.9 維吉尼亞鳶尾
-
這是一個有6個樣本的三分類問題。我們需要根據這個花的花萼長度，花萼寬度，花瓣長度，花瓣寬度來判斷這個花屬於山鳶尾，雜色鳶尾，還是維吉尼亞鳶尾。具體應用到gbdt多分類演算法上面。我們用一個三維向量來標誌樣本的label。[1,0,0] 表示樣本屬於山鳶尾，[0,1,0] 表示樣本屬於雜色鳶尾，[0,0,1] 表示屬於維吉尼亞鳶尾。
gbdt 的多分類是針對每個類都獨立訓練一個 CART Tree。所以這裡，我們將針對山鳶尾類別訓練一個 CART Tree 1。雜色鳶尾訓練一個 CART Tree 2 。維吉尼亞鳶尾訓練一個CART Tree 3，這三個樹相互獨立。
下面我們來看 CART Tree1 是如何生成的，其他樹 CART Tree2 , CART Tree 3的生成方式是一樣的。CART Tree的生成過程是從這四個特徵中找一個特徵做為CART Tree1 的節點。比如花萼長度做為節點。6個樣本當中花萼長度 大於5.1 cm的就是 A類，小於等於 5.1 cm 的是B類。生成的過程其實非常簡單，問題 1.是哪個特徵最合適？ 2.是這個特徵的什麼特徵值作為切分點？ 即使我們已經確定了花萼長度做為節點。花萼長度本身也有很多值。在這裡我們的方式是遍歷所有的可能性，找到一個最好的特徵和它對應的最優特徵值可以讓當前式子的值最小。
我們以第一個特徵的第一個特徵值為例。R1 為所有樣本中花萼長度小於 5.1 cm 的樣本集合，R2 為所有樣本當中花萼長度大於等於 5.1cm 的樣本集合。所以 R1={2}，R2={1,3,4,5,6}.
圖 5 節點分裂示意圖
y1 為 R1 所有樣本的label 的均值 1/1=1。y2 為 R2 所有樣本的label 的均值 (1+0+0+0+0)/5=0.2。
圖 6 第一個特徵的第二個特偵值的節點分裂情況
圖 7 所有情況說明
這樣我們可以遍歷所有特徵的所有特徵值，找到讓這個式子最小的特徵以及其對應的特徵值，一共有24種情況,4個特徵*每個特徵有6個特徵值。在這裡我們算出來讓這個式子最小的特徵花萼長度,特徵值為5.1 cm。這個時候損失函式最小為 0.8。
於是我們的預測函式此時也可以得到:
下面我們用程式碼來實現整個找特徵的過程，大家可以自己再對照程式碼看看。
# 定義訓練資料
train_data = [[5.1,3.5,1.4,0.2],[4.9,3.0,1.4,0.2],[7.0,3.2,4.7,1.4],[6.4,3.2,4.5,1.5],[6.3,3.3,6.0,2.5],[5.8,2.7,5.1,1.9]]
# 定義label
label_data = [[1,0,0],[1,0,0],[0,1,0],[0,1,0],[0,0,1],[0,0,1]]
# index 表示的第幾類
def findBestLossAndSplit(train_data,label_data,index):
sample_numbers = len(label_data)
feature_numbers = len(train_data[0])
current_label = []
# define the minLoss
minLoss = 10000000
# feature represents the dimensions of the feature
feature = 0
# split represents the detail split value
split = 0
# get current label
for label_index in range(0,len(label_data)):
current_label.append(label_data[label_index][index])
# trans all features
for feature_index in range(0,feature_numbers):
## current feature value
current_value = []
for sample_index in range(0,sample_numbers):
current_value.append(train_data[sample_index][feature_index])
L = 0
## different split value
print current_value
for index in range(0,len(current_value)):
R1 = []
R2 = []
y1 = 0
y2 = 0
for index_1 in range(0,len(current_value)):
if current_value[index_1] < current_value[index]:
R1.append(index_1)
else:
R2.append(index_1)
## calculate the samples for first class
sum_y = 0
for index_R1 in R1:
sum_y += current_label[index_R1]
if len(R1) != 0:
y1 = float(sum_y) / float(len(R1))
else:
y1 = 0
## calculate the samples for second class
sum_y = 0
for index_R2 in R2:
sum_y += current_label[index_R2]
if len(R2) != 0:
y2 = float(sum_y) / float(len(R2))
else:
y2 = 0
## trans all samples to find minium loss and best split
for index_2 in range(0,len(current_value)):
if index_2 in R1:
L += float((current_label[index_2]-y1))*float((current_label[index_2]-y1))
else:
L += float((current_label[index_2]-y2))*float((current_label[index_2]-y2))
if L < minLoss:
feature = feature_index
split = current_value[index]
minLoss = L
print "minLoss"
print minLoss
print "split"
print split
print "feature"
print feature
return minLoss,split,feature
findBestLossAndSplit(train_data,label_data,0)- 3 總結
目前，我們總結了 gbdt 的演算法的流程，gbdt如何選擇特徵，如何產生特徵的組合，以及gbdt 如何用於分類，這個目前可以認為是gbdt 最經常問到的四個部分。至於剩餘的問題，因為篇幅的問題，我們準備再開一個篇幅來進行總結。