1.AdaBoost簡介及原理

Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然後把這些弱分類器集合起來，構成一個更強的最終分類器（強分類器）。

Adaboost的結構:最後的分類器YM是由數個弱分類器（weak classifier）組合而成的,相當於最後m個弱分類器來投票決定分類結果，而且每個弱分類器的“話語權”因子α大小不一樣。

可以看到，U(1)是初始的權重向量，所有弱分類器的權重為1 / N,其中N是分類器總數；yn代表各個弱分類器；而T對應樣例數目，共迭代訓練T次；

2.scikit-learn庫中的AdaBoost演算法

模組sklearn.ensemble包括流行的boosting演算法AdaBoost，由Freund和Schapire在1995年提出；

以下示例顯示如何以100個弱學習器建立AdaBoost分類器：

#gnu
>>> from sklearn.model_selection import cross_val_score
>>> from sklearn.datasets import load_iris
>>> from sklearn.ensemble import AdaBoostClassifier

>>> iris = load_iris() #還是那個資料集
>>> clf = AdaBoostClassifier(n_estimators=100) #迭代100次
>>> scores = cross_val_score(clf, iris.data, iris.target) #分類器的精確度
>>> scores.mean()                             
0.9...   #得分比較理想
#
 

隨訓練數目增加各種學習法的誤差收斂速度；在這些分類器裡AdaBoost表現的很不錯；

3.再探Boosting：

Boosting演算法是一種把若干個分類器整合為一個分類器的方法，在boosting演算法產生之前，還出現過兩種比較重要的將多個分類器整合為一個分類器的方法，即boostrapping方法和bagging方法。我們先簡要介紹一下bootstrapping方法和bagging方法。

#gnu
>>> from sklearn.datasets import make_hastie_10_2
>>> from sklearn.ensemble import GradientBoostingClassifier

>>> X, y = make_hastie_10_2(random_state=0)
>>> X_train, X_test = X[:2000], X[2000:]
>>> y_train, y_test = y[:2000], y[2000:]

>>> clf = GradientBoostingClassifier(n_estimators=100, learning_rate=1.0,
...     max_depth=1, random_state=0).fit(X_train, y_train)
>>> clf.score(X_test, y_test)                 
0.913...
#