1. 程式人生 > >整合學習介紹1—簡介

整合學習介紹1—簡介

整合學習通過將多個學習器進行結合,常可獲得比單一學習器顯著優越的泛化效能。

用一個簡單的例子來進行說明:在一個二分類任務重,假設三個分類器在三個測試樣本上的表現如下圖所示。假設整合學習的結果通過三個個體學習器用投票發(voting)產生,即“少數服從多數”,那麼當三個個體學習器分別對三個測試例有不同的判別優勢時,整合的效果也會不一樣。

2

目前整合學習的方法大致可以分成兩大類:

1.個體學習器存在強依賴關係,必須序列生成的序列化方法(Boosting)

2.個體學習器不存在強依賴關係,可同時生成的並行化方法(Bagging和隨機森林)

接下來打算用兩章來分別介紹下Boosting和隨機森林演算法。