bagging和boosting以及rand-forest
阿新 • • 發佈:2018-12-25
bagging:
讓該學習演算法訓練多輪,每輪的訓練集由從初始的訓練集中隨機取出的n個訓練樣本組成,某個初始訓練樣本在某輪訓練集中可以出現多次或根本不出現,訓練之後可得到一個預測函式序列h_1,⋯ ⋯h_n ,最終的預測函式H對分類問題採用投票方式,對迴歸問題採用簡單平均方法對新示例進行判別。(可以平行計算,適用於類似於比較耗時的神經網路訓練)
優點:將多個分類器整合,增強了決策面的表達,但模型基本相同(預測差不多),不能降低偏差,由於模型之間是有關聯的,所以資料預測的結果相關性比較強(通俗點說:預測的結果分佈比較密集,在一團)也就是降低了方差。
boosting: