XGBoost是在GBDT（梯度提升決策樹）基礎上發展而來。

GBDT含有幾個關鍵點：梯度提升，提升決策樹，迴歸問題。

本質模型為加法模型，基函式為決策樹，迭代擬合標註和模型的殘差，來不斷逼近損失函式最小化。更一般的情況，以當前模型在L負梯度方向的值，作為殘差的近似。

XGBoost（eXtreme Gradient Boosting）針對GBDT框架，加入了很多改進點。

1. XGB的特點

（1）傳統GBDT以CART作為基函式，xgb還支援線性分類器，此時XGB相當於來L1/L2正則化項的LR（分類）或者Liear R（迴歸）。

booster [default=gbtree]
 

設定引數：gbtree: tree-based models/gblinear: linear models

（2）傳統GBDT在優化時只用到一階導數資訊（負梯度），xgboost則對代價函式進行了二階泰勒展開，同時用到一階和二階導數。且xgboost工具支援自定義代價函式，只要函式可一階和二階求導。

（3）xgboost在代價函式里加入了正則項，控制模型複雜度。正則項裡包含了樹的葉節點個數、每個葉子節點上輸出的score的L2模的平方和。從Bias-variance tradeoff角度來講，正則項降低了模型variance，使學習出來的模型更加簡單，防止過擬合，這也是xgboost優於傳統GBDT的一個特性。 剪枝是都有的，葉子節點輸出L2平滑是新增的。

（4）shrinkage縮減和column_subsampling
shrinkage縮減：類似於學習速率，在每一步tree boosting之後增加了一個引數n（權重），通過這種方式來減小每棵樹的影響力，給後面的樹提供空間去優化模型。
column subsampling：列(特徵)抽樣，隨機森林那邊學習來的，防止過擬合的效果比傳統的行抽樣還好（行抽樣功能也有），並且有利於後面提到的並行化處理演算法。

（5）split finding algorithms(劃分點查詢演算法)
樹節點在進行分裂時，我們需要計算每個特徵的每個分割點對應的增益，即用貪心法 greedy algorithm列舉所有可能的分割點。當資料無法一次載入記憶體或者在分散式情況下，貪心演算法效率就會變得很低，所以xgboost還提出了一種可並行的近似approximate algorithm直方圖演算法Weighted Quantile Sketch，用於高效地生成候選的分割點。

（6）對缺失值的處理。對於特徵的值有缺失的樣本，xgboost可以自動學習出它的分裂方向。 稀疏感知演算法 Sparsity-aware Split Finding

（7）Built-in Cross-Validation（內建交叉驗證)
XGBoost allows user to run a cross-validation at each iteration of the boosting process and thus it is easy to get the exact optimum number of boosting iterations in a single run.
This is unlike GBM where we have to run a grid-search and only a limited values can be tested.

（8）High Flexibility（高靈活性）
XGBoost allow users to define custom optimization objectives and evaluation criteria.
This adds a whole new dimension to the model and there is no limit to what we can do.

（9）xgboost支援並行，提高計算速度。

2. XGB並行化

boosting不是一種序列的結構嗎？怎麼並行的？

注意xgboost的並行不是在tree粒度的並行，xgboost也是一次迭代完才能進行下一次迭代的（第t次迭代的代價函式裡包含了前面t-1次迭代的預測值）。

xgboost的並行是在特徵粒度上的（是在構建樹的過程中）。我們知道，決策樹的學習最耗時的一個步驟就是對特徵的值進行排序（因為要確定最佳分割點），xgboost在訓練之前，預先對資料進行排序，然後儲存為block結構，後面的迭代中重複地使用這個結構，大大減小計算量。

這個block結構也使得並行成為了可能，在進行節點分裂時，需要計算每個特徵的增益，最終選增益最大的那個特徵去做分裂，那麼各個特徵的增益計算就可以開多執行緒進行。

構建樹包括外層迴圈和內層迴圈。外層迴圈是構建樹的子節點中，對子節點分別使用CART，那麼此處可以並行化處理。內層迴圈是在某個節點做CART，需要遍歷特徵列，確定特徵及特徵最佳分割點，此處也可以並行。

3. XGB關鍵調參

3.1 常規引數

（1）booster [default=gbtree]：選擇基分類器
gbtree: tree-based models/gblinear: linear models

（2）silent [default=0]:設定成1則沒有執行資訊輸出，最好是設定為0.

（3）nthread [default to maximum number of threads available if not set]：執行緒數

3.2 模型引數

（1）eta：shrinkage引數，更新葉子節點權重時，乘以該係數避免步長過大。

（2）min_child_weight：default=1]引數預設是 1，每個葉子裡面 h 的和至少是多少，對正負樣本不均衡時的 0-1 分類而言，假設 h 在 0.01 附近，min_child_weight 為 1 意味著葉子節點中最少需要包含 100 個樣本。這個引數非常影響結果，控制葉子節點中二階導的和的最小值，該引數值越小，越容易 overfitting。

（3） max_depth [default=6]：每顆樹最大深度，樹高越深，葉節點越多，越容易過擬合。

（4）max_leaf_nodes：最大葉結點數，與max_depth作用有點重合。

（5） gamma [default=0]：後剪枝時，用於控制是否後剪枝的引數。

（6）max_delta_step [default=0]：這個引數在更新步驟中起作用，如果取0表示沒有約束，如果取正值則使得更新步驟更加保守。可以防止做太大的更新步子，使更新更加平緩。

（7）subsample [default=1]：樣本隨機取樣，較低的值使得演算法更加保守，防止過擬合，但是太小的值也會造成欠擬合。是Bagging思想，樣本擾動。

（8）colsample_bytree [default=1]：列取樣，對每棵樹的生成用的特徵進行列取樣。一般設定為： 0.5-1。如RF的思想，屬性擾動。

（9） lambda [default=1]：控制模型複雜度的權重值的L2正則化項引數，引數越大，模型越不容易過擬合。 （葉節點上輸出的score的L2模的平方和）

（10）alpha [default=0]:控制模型複雜程度的權重值的 L1 正則項引數，引數值越大，模型越不容易過擬合。 （葉節點個數）

（11）scale_pos_weight [default=1]：如果取值大於0的話，在類別樣本不平衡的情況下有助於快速收斂。

3.3 學習任務引數

（1）objective [default=reg:linear]：定義最小化損失函式型別。

常用引數：
binary：logistic –logistic regression for binary classification, returns 預測概率值 (not class)

multi：softmax –multiclass classification using the softmax objective, returns 預測的類別 (not probabilities)
you also need to set an additional num_class (number of classes) parameter defining the number of unique classes

multi:softprob –same as softmax, but returns predicted probability of each data point belonging to each class.

（2）eval_metric [ default according to objective ]： The metric to be used for validation data.

The default values are rmse for regression and error for classification.

Typical values are:

rmse – root mean square error
mae – mean absolute error
logloss – negative log-likelihood
error – Binary classification error rate (0.5 threshold)
merror – Multiclass classification error rate
mlogloss – Multiclass logloss
auc: Area under the curve

（3）seed [default=0]：
The random number seed. 隨機種子，用於產生可復現的結果
Can be used for generating reproducible results and also for parameter tuning.

注意:：
python sklearn引數名會有所變化
eta –> learning_rate
lambda –> reg_lambda
alpha –> reg_alpha

參考資料