CART、GradientBoost
阿新 • • 發佈：2018-09-30
ntb lar 技術分享 結果 sem 分享圖片 UNC .com net
轉載：https://blog.csdn.net/niuniuyuh/article/details/76922210
論文：http://pdfs.semanticscholar.org/0d97/ee4888506beb30a3f3b6552d88a9b0ca11f0.pdf
CART（Classification And Regression Trees）—分類回歸樹:
t代表樹的某個節點，t中的樣本集合為：{（X1,y1），（X2,y2），...}，N(t)是節點t中的樣本個數。節點t的應變量是實數（回歸樹），節點t的應變量的均值：
節點t內的平方殘差最小化：
屬性F將t劃分成左右節點tL和tR：
能最大化上式的就是最佳的屬性劃分：
CART_回歸樹算法步驟是：
一般Boosting算法都是一個叠代的過程，每一次新的訓練都是為了改進上一次的結果：
GradientBoost其實是一個框架，裏面可以套入很多不同的算法。每一次的計算都是為了減少上一次的殘差，為了消除殘差，我們可以在殘差減少的梯度方向建立一個新的模型，所以說，每一個新模型的建立都為了使得之前的模型殘差向梯度方向上減少。它用來優化loss function有很多種。
GradientBoost通用框架：
我們的目標是在樣本空間上找到最優預測函數F*(x)，使x映射到y的損失函數L(y,F(x))達到最小，即：
損失函數的形式為平方誤差：
CART、GradientBoost