1. 程式人生 > >LightGBM原理之論文詳解

LightGBM原理之論文詳解

GBDT是基於決策樹的整合演算法,採用前向分佈演算法,在每次迭代中,都是通過負梯度擬合殘差,從而學習一顆決策樹,最耗時的步驟就是找最優劃分點。一種流行的方法就是預排序,核心是在已經排好序的特徵值上列舉所有可能的特徵點。另一種改進則是直方圖演算法,他把連續特徵值劃分到k個桶中取,劃分點則在這k個點中選取。k<<d,所以在記憶體消耗和訓練速度都更佳,且在實際的資料集上表明,離散化的分裂點對最終的精度影響並不大,甚至會好一些。原因在於決策樹本身就是一個弱學習器,採用Histogram演算法會起到正則化的效果,有效地防止模型的過擬合。LightGBM也是基於直方圖的。