提升樹boosting tree模型

1、提升樹的定義

提升樹是以分類樹或者回歸樹為基本分類器的提升方法。以決策樹為基函式的提升方法稱為提升樹（boosting tree）

2、與AdaBoost演算法的提升方法的區別

提升樹演算法只需將Adaboost演算法的基本分類器限制為二分類樹(對於二分類問題而言)即可，可以說提升樹是Adaboost演算法的特殊情況。

3、迴歸問題的提升樹演算法

訓練資料

序號	1	2	3	4	5	6	7	8	9	10
$x_i$	1	2	3	4	5	6	7	8	9	10
$y_i$	5.56	5.70	5.91	6.40	6.80	7.05	8.90	8.70	9.00	9.05

（1）求解資料的切分點

這裡的切分點指的是將 $x$

x

$x$ 值劃分界限，資料中

x

$x$ 的範圍是

[1, 10]

$[1,10]$ ，假設我們可取得切分點

s

$s$ 有

[1.5 ， 2.5 ， 3.5 ， . . . ， 9.5]

$[1.5，2.5，3.5，...，9.5]$ ，並且把分界線兩邊的樣本集合記為

R_{1} ， R_{2}

$R_1，R_2$ 。假設取1.5的分界線，即

s = 1.5

$s=1.5$ ，那麼

R_{1} = {1}, R_{2} = {2 ， 3 ， . . . ， 10}

$R_1=\{1\},R_2=\{2，3，...，10\}$ ，把

c_{1}, c_{2}

$c_1,c_2$ 記為分界線兩邊

y_{i}

$y_i$ 的平均值，如公式(1)所示，則

c_{1} = 5.56, c_{2} = 7.50

$c_1=5.56,c_2=7.50$ 。

c_{1} = \frac{1}{| R_{1} |} \sum_{x_{i} \in R_{1}} y_{i}

$c_1=\frac{1}{|R_1|}\sum_{x_i \in R_1}y_i$

\begin{matrix} (1) & c_{2} = \frac{1}{| R_{2} |} \sum_{x_{i} \in R_{2}} y_{i} \end{matrix}

$c_2=\frac{1}{|R_2|}\sum_{x_i \in R_2}y_i \tag{1}$
而我們最終要優化的目標是求分界線兩邊的資料的

\bar{y}

$\bar{y}$ 與

y_{i}

$y_i$ 平方和的最小值

m (s)

$m(s)$ ，如公式(2)所示。

\begin{matrix} (2) & m (s) = min_{c_{1}} \sum_{x_{i} \in R_{1}} (y_{i} - c_{1})^{2} + min_{c_{1}} \sum_{x_{i} \in R_{2}} (y_{i} - c_{2})^{2} \end{matrix}

$m(s)=\min_{c_1} \sum_{x_i \in R_1}(y_i-c_1)^2+\min_{c_1} \sum_{x_i \in R_2}(y_i-c_2)^2 \tag{2}$

（2）求迴歸樹

實際上，對於以上資料求得最佳分界線是 $s=6.5$ ，對應地有 $R_1=\{1，2，...，6\}，R_2=\{7，8，9，10\}，c_1=6.24，c_2=8.91$ 。所以迴歸樹 $T_1(x)$ 為

\begin{matrix} (3) & T_{1} (x) = {\begin{matrix} 6.24, x < 6.5 \\ 6.24, x ⩾ 6.5 \end{matrix} \end{matrix}

提升樹boosting tree模型

1、提升樹的定義

2、與AdaBoost演算法的提升方法的區別

3、迴歸問題的提升樹演算法

（1）求解資料的切分點

（2）求迴歸樹

提升樹boosting tree模型

迴歸問題的提升樹(boosting tree)演算法

【機器學習演算法】：提升樹（Boosting tree）

（三）提升樹模型：Lightgbm原理深入探究

前向分步演算法與提升樹模型

機器學習boosting演算法—梯度提升樹(GBDT)

模型組合之梯度提升(Gradient Boosting)

機器學習入門 - 1. 介紹與決策樹(decision tree)

使用行為樹(Behavior Tree)實現遊戲AI

【BZOJ4605】嶗山白花蛇草水權值線段樹+kd-tree

手把手生成決策樹(dicision tree)

樹——binary-tree-postorder-traversal（樹的前序遍歷）

Spark 決策樹--回歸模型

洛谷P3018 [USACO11MAR]樹裝飾Tree Decoration

class-提升方法Boosting

機器學習（七）—Adaboost 和梯度提升樹GBDT

機器學習之路： python 實踐提升樹 XGBoost 分類器

轉：Linux設備樹(Device Tree)機制

sklearn學習7-----決策樹（tree)

Python機器學習之梯度提升樹

提升樹boosting tree模型

1、提升樹的定義

2、與AdaBoost演算法的提升方法的區別

3、迴歸問題的提升樹演算法

（1）求解資料的切分點

（2）求迴歸樹

相關推薦