統計學習方法 李航 提升方法
很好理解，就是將一些基本的性能一般的弱分類器組合起來，來構成一個性能較好的強分類器；這其中如果數據一樣的話那不是每次訓練出的分類器就都一樣了嘛，所以在每次訓練後要根據訓練結果來改變數據的權重；還有一個關鍵點是通過什麽方法來組合這些弱分類器．
由8.2可看出錯誤率$e_m$越小，$\alpha_m$就越大，又8.4看出權值與$\alpha_m$成反比，所以分類正確的數據在下輪分類中權重減小，而這就是改變權重的原理；規範化因子實際上就是湊出來為了使權值求和為１而已；且在最終對分類器進行線性組合時，又和$\alpha_m$有關，因此錯誤率小的分類器起的作用會更大；還要註意$\alpha_m$求和不為１，而是以它的符號決定分類出的結果？？？；要註意這裏的第ｎ輪分類器更可能分對第ｎ－１輪未分對的數據，但它不能保證之前分對的數據還是能分對；
一個例子
概算發的誤差分析(表示看不太懂)
介紹了下前向分布算法，不難理解．
這裏它證明了adaboost算法就是前向分布加法算法的特殊例子，這裏比較想不通的就是為什麽它的損失函數是指數函數，好在文中給出了證明，關鍵就是在損失函數(指數函數)最小化時，得到的$\alpha_m$和$G_m(x)$就是adaboost算法所得到的$\alpha_m$和$G_m(x).
這裏實際上就是對所有決策樹進行累加，得到最終的結果．
這裏一個關鍵點就是理解殘差，實際上它指的是之前形成的提升樹的估計值與實際值之前的差距（而在當前步就是對這個差距進行擬合）；GBDT思想的一個比方：假如有個人30歲，我們首先用20歲去擬合，發現損失有10歲，這時我們用6歲去擬合剛才剩下的損失(10)，發現差距還有4歲，第三輪我們用3歲擬合剛才剩下的差距(4)，差距就只有一歲了。如此反復下去，每一輪叠代都是可以減小差距的．
https://blog.csdn.net/qq_39521554/article/details/80714945 這篇博客中的例子也很好，明確說明最終提升樹的預測值是每個決策樹的結果的累加，每一次生成決策樹都是在之前得到的殘差之上進行擬合得出的．
這裏就是相當於更一般的情況，即當損失函數過於一般，每一步都不好擬合時，則用負梯度作為ｉｅ殘差的近似值進行擬合．可參考這篇博客 https://www.jianshu.com/p/0e5ccc88d2cb．
參考：
https://www.cnblogs.com/pinard/p/6140514.html 打的那個年齡比方很好
https://blog.csdn.net/qq_39521554/article/details/80714945 例子挺好的
統計學習方法 李航 提升方法