提升方法AdaBoost演算法

1、提升方法

提升方法就是從弱學習演算法出發，反覆學習，得到一系列弱分類器(又稱為基本分類器)，然後組合弱分類器，構成一個強分類器。大多數提升的方法都是改變訓練資料的的概率分佈(訓練資料的權值分佈)。

2、提升方法相關問題

（1）在每一輪如何改變訓練資料的權值或者概率分佈？

Adaboost的做法就是，提高那些前一輪弱分類器錯誤分類樣本的權值，而降低那些被正確分類樣本的權值。

（2）如何將弱分類器組合成一個強分類器？

Adaboost採取加權多數表決的方法。加大分類誤差率小的弱分類器的權值，使其在表決中起較大的作用，減小弱分類器誤差率大的弱分類器的權值，使其在表決中起較小的作用。

3、AdaBoost演算法

訓練資料

序號	1	2	3	4	5	6	7	8	9	10
$x$	0	1	2	3	4	5	6	7	8	9
$y$	1	1	1	-1	-1	-1	1	1	1	-1

步驟：
(1)初始化資料的權值 $D_{1} = {w_{1}, . . ., w_{N}}$
一共10個樣本，所以
$w_{1} = w_{2} = . . . = w_{10} = \frac{1}{N} = 0.1$
(2)在權值分佈為 $D_{1}$ 上構建基本分類器 $G_{1} (x)$

)如下

\begin{matrix} (1) & G_{1} (x) = {\begin{matrix} 1, x < 2.5 \\ - 1, x > 2.5 \end{matrix} \end{matrix}

因為2.5作為分界線使得分類的誤差最低。
注意，基本分類器

G_{m} (x)

的分類誤差的計算如下。即基本分類器對整個資料劃分，劃分不正確的樣本的權值之和。

\begin{matrix} (2) & e_{m} = P (G_{m} (x_{i}) \neq y_{i}) = \sum_{G_{m} (x_{i}) \neq y_{i}} w_{m i} \end{matrix}

(3)計算 $G_{1} (x)$ 在資料集上的誤差
因為

G_{1} (x)

分類器的劃分界限是5.5，即序號為

{7, 8, 9}

的3個樣本被錯誤分類，他們的權值都是0.1，所以

e_{1} = 0.3

(3)計算 $G_{1} (x)$ 的係數，公式如下

\begin{matrix} (3) & α_{m} = \frac{1}{2} l o g \frac{1 - e_{m}}{e_{m}} \end{matrix}

注意：公式(3)是個遞減函式，意味著分類器的誤差越大，其權重係數越小，在表決中作用越小。
所以，

α_{1} = \frac{1}{2} l o g \frac{1 - e_{1}}{e_{1}} = 0.4236

(4)更新訓練資料的權值分佈，公式如下

\begin{matrix} (4) & w_{i} = \frac{w_{i} e^{- α_{m} y_{i} G_{m} (x_{i})}}{\sum_{i = 1}^{N} w_{i} e^{- α_{m} y_{i} G_{m} (x_{i})}} \end{matrix}

提升方法AdaBoost演算法

1、提升方法

2、提升方法相關問題

（1）在每一輪如何改變訓練資料的權值或者概率分佈？

（2）如何將弱分類器組合成一個強分類器？

3、AdaBoost演算法

提升方法AdaBoost演算法

機器學習——提升方法AdaBoost演算法，推導過程

統計學習方法ｃ++實現之七提升方法--AdaBoost

08_提升方法_AdaBoost演算法

提升方法：Adaboost演算法與證明

《機器學習實戰》學習筆記（六）之提升和Adaboost（上）基礎理論以及演算法推導

《機器學習實戰》AdaBoost方法的演算法原理與程式實現

機器學習sklearn19.0——整合學習——boosting與梯度提升演算法（GBDT）、Adaboost演算法

提升方法（Adaboost）

機器學習演算法總結--提升方法

提升方法：GBDT、XGBOOST、AdaBoost

提升方法：前向分步演算法與提升樹

組合方法(ensemble method) 與adaboost提升方法

提升和加法樹及AdaBoost演算法總結

Boosting(提升方法)和AdaBoost

重構職場競爭力之測試能力提升方法

class-提升方法Boosting

AdaBoost 人臉檢測介紹(3) : AdaBoost演算法流程

通俗易懂的Adaboost演算法原理分析和例項+程式碼

Adaboost演算法的原理和見解

提升方法AdaBoost演算法

1、提升方法

2、提升方法相關問題

（1）在每一輪如何改變訓練資料的權值或者概率分佈？

（2）如何將弱分類器組合成一個強分類器？

3、AdaBoost演算法

相關推薦