提升方法

主要可以分為兩大類：Boosting & Bagging

Boosting

主要代表演算法是Adaboost。

Boosting策略主要關注降低偏差。

Boosting的基分類器之間彼此序列，每一輪都更新樣本的權重，更加關注分類錯誤的樣本，最終採用加法模型，加大分類誤差率小的基分類器的權重，降低分類錯誤率大的基分類器的權重，組合所有的基分類器。

Bagging

主要代表演算法是隨機森林(Random Forest)。

Bagging策略主要關注降低方差。

Bagging基分類器彼此之間並行，採用bootstrap sampling的方式，生成多個訓練集訓練基學習器，最終採用平均法或者投票法得出結論。

隨機森林是Bagging的一個擴充套件變體，其以決策樹為基學習器，進一步在決策樹訓練過程中引入了隨機屬性選擇（先隨機選擇屬性子集，而後選擇最優屬性進行劃分）。