1. 程式人生 > >幾種不同的分類器

幾種不同的分類器

1、SVM對噪聲(如來自其他分佈的噪聲樣本)魯棒

SVM本身對噪聲具有一定的魯棒性,但是實驗證明,是當噪聲率低於一定水平的噪聲對SVM沒有太大的影響,但是隨著噪聲率的不斷增加,分類器的識別率會降低

2、在AdaBoost演算法中所有被分錯的樣本的權重更新比例相同

AdaBoost演算法中不同的訓練集是通過每個樣本對應的權重來實現的。開始時,每個樣本對應的權重是相同的,即其中N為樣本個數,在此樣本分佈下訓練出一個弱分類器。對於分類錯誤的樣本,加大其對應的權重,而對於分類正確的樣本,降低其權值,這樣分錯的樣本就被凸顯出來,從而得到一個新的樣本分佈。在新的樣本分佈下,再次對樣本進行訓練,得到弱分類器。以此類推,將所有的弱分類器重疊加起來,得到強分類器。

3、Boost和Bagging都是組合多個分類器投票的方法,二者軍事根據單個分類器的正確率決定其權重。

Bagging與bossting的區別:取樣方式不同。Bagging採用均勻取樣,而boosting根據錯誤率取樣。Bagging的各個預測函式沒有權重,而Boosting是有權重的,Baggingd的各個預測函式可以並行生成,而Boosting 的各個預測函式只能順序生成。