1. 集成學習是一種機器學習的框架，它會創建多個子模型，通過集成這些子模型的預測結果共同提升學習效果。
2. 集成學習主要分為三種類型：bagging、boosting和stacking。
3. 集成學習中Bagging方法是將訓練集自動抽樣，產生出用於構建子模型的子訓練集，再進行綜合打分得到最終結果。
4. 集成學習中的boosting方法是按照順序構建子模型，每訓練下一個子模型之前，需對上一個子模型預測的結果進行一定的融合變換，以保證後一次訓練能夠給整體學習效果帶來提升，最終的預測結果是通過一定權重值將各個子模型線性組合後得到。
5. 集成學習中的stacking方法，是對每個子模型進行訓練，並將各個子模型預測的結果作為新的特征
   ，對新特征組成的訓練集重新構建模型，最終的預測結果由此得到。
6. 集成學習的bagging方法，典型算法是隨機森林。
7. 集成學習中boosting方法，性能最優的框架是XGBOOST.
8. GBDT是通過boosting方法構造一組子模型，與傳統回歸模型相比，有點主要有：

   不需要對特征進行歸一化或標準化處；能夠自動進行特征選擇；可以分布式並行計算。

9. XGBOOST框架是對GBDT的優化設計，它的優點主要有

   1. 可以分布式計算，速度極快
   2. 可移植，對代碼要求低
   3. 可容錯，節點故障不影響計算過程和結果導出

集成學習註意要點