GB and AdaBoost

梯度提升（Gradient boosting）是一種用於迴歸、分類和排序任務的機器學習技術，屬於Boosting演算法族的一部分。Boosting是一族可將弱學習器提升為強學習器的演算法，屬於整合學習（ensemble learning）的範疇。

Boosting方法基於這樣一種思想：對於一個複雜任務來說，將多個專家的判斷進行適當的綜合所得出的判斷，要比其中任何一個專家單獨的判斷要好。通俗地說，就是“三個臭皮匠頂個諸葛亮”的道理。梯度提升同其他boosting方法一樣，通過整合（ensemble）多個弱學習器，通常是決策樹，來構建最終的預測模型。

Boosting

與AdaBoost演算法不同，梯度提升方法在迭代的每一步構建一個能夠沿著梯度最陡的方向降低損失（steepest-descent）的學習器來彌補已有模型的不足。經典的AdaBoost演算法只能處理採用指數損失函式的二分類學習任務，而梯度提升方法通過設定不同的可微損失函式可以處理各類學習任務（多分類、迴歸、Ranking等），應用範圍大大擴充套件。
另一方面，AdaBoost演算法對異常點（outlier）比較敏感