這篇內容為《統計學習方法》的學習筆記，也看過其他書和培訓班的視訊ppt等，但是感覺都是離不開《統計學習方法》這本書，還是這本書讀起來乾淨利落（雖然有很少的地方有點暈）。

接下來首先介紹加法模型和前向分步演算法，接著介紹提升樹，最後補充梯度提升方法。

1、加法模型和前向分步演算法

考慮以下線性組合的模型

$f\left(x\right)$

= ∑ m = 1 M β m

b ( x ; θ m ) f(x)=\sum\limits_{m=1}^{M}\beta_mb(x;\theta_m)

其中 $\beta_m$為係數， $\theta_m$為模型引數，上面的模型顯然就是加法模型。

當給定訓練集 $T=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\}$，以及損失函式 $L(y,f(x))$， $y=\{-1,+1\}$,學習演算法通常就是求經驗風險極小化（或者說損失函式極小化）：

$\min\limits_{\beta_m,\theta_m} \sum\limits_{i=1}^{n}L(y_i,f(x_i))=\min \sum\limits_{i=1}^{n}L[y_i,\sum\limits_{m=1}^{M}\beta_mb(x_i;\theta_m)]$

該優化問題存在兩個求和，求解比較困難，由於是加法模型，所以可以使用前向分步演算法：每次只學習一個基函式及其係數（ $b(x;\theta_m),\beta_m$），逐步逼近優化目標函式。具體地，每步只需優化如下損失函式函式

$\min\limits_{\beta,\theta}\sum\limits_{i=1}^{n}L[y_i,\beta b(x_i;\theta)]$

具體的前向分步演算法如下

前向分步演算法

輸入：訓練資料集 $T=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\}$，損失函式 $L(y,f(x))$，基函式集 $\{b(x;\theta)\}$
輸出：加法模型 $f(x)$

（1）、初始化 $f_0(x)=0$；
（2）、對 $m=1,2,\dots,M$

（a）、極小化損失函式，獲得引數 $\beta_m,\theta_m$

$(\beta_m,\theta_m)=arg\min\limits_{\beta,\theta}\sum\limits_{i=1}^{n}L[y_i,f_{m-1}(x)+\beta b(x_i;\theta)]$

（b）、更新加法模型

$f_m(x)=f_{m-1}(x)+\beta_m b(x_i;\theta_m)$

相關推薦