1、整合學習（Ensemble Learning）

     （這段內容摘自百度百科）

     ※定義：整合學習是使用一系列學習器進行學習，並使用某種規則把各個學習結果進行整合從而獲得比單個學習器更好的學習效果的一種機器學習方法。

     ※思路：在對新的例項進行分類的時候，把若干個單個分類器整合起來，通過對多個分類器的分類結果進行某種組合來決定最終的分類，以取得比單個分類器更好的效能。如果把單個分類器比作一個決策者的話，整合學習的方法就相當於多個決策者共同進行一項決策。

2、弱學習（weak learner）與強學習（strong learner）

      弱學習：識別錯誤率小於1/2,也即準確率僅比隨機猜測略高的學習；
      強學習：識別準確率

3、Bagging演算法

      ※定義（摘自百度百科）：bagging是一種用來提高學習演算法準確度的方法，這種方法通過構造一個預測函式系列，然後以一定的方式將它們組合成一個預測函式。Bagging要求“不穩定”（不穩定是指資料集的小的變動能夠使得分類結果的顯著的變動）的分類方法。比如：決策樹，神經網路演算法。

      ※概念圖：具有並行擬合的功能。

        ※演算法描述：

            輸入為樣本集D={(x,y1),(x2,y2),...(xm,ym)}，弱學習器演算法, 弱分類器迭代次數T。
　　　輸出為最終的強分類器f(x)。
　　　　1）對於t=1,2...,T：
　　　　　　a)對訓練集進行第t次隨機取樣，共採集m次，得到包含m個樣本的取樣集Dm
　　　　　　b)用取樣集Dm訓練第m個弱學習器Gm(x)
　　　　2) 如果是分類演算法

                     如果是迴歸演算法，T個弱學習器得到的迴歸結果進行算術平均得到的值為最終的模型輸出。

4、Boosting演算法

      ※定義（摘自百度百科）：Boosting方法是一種用來提高弱分類演算法準確度的方法,這種方法通過構造一個預測函式系列，然後以一定的方式將他們組合成一個預測函式。Boosting是一種提高任意給定學習演算法準確度的方法。它的思想起源於 Valiant提出的 PAC ( Probably Approxi mately Correct)學習模型。

      ※概念圖：

      ※演算法描述：

5、bagging與boosting之間的區別

     主要區別點是bagging演算法是均勻隨機取樣；boosting演算法根據錯誤率來取樣。

     bagging演算法：訓練集隨機均勻取樣，分類器相對獨立，可進行並行操作，類似耗時比較長的分類器訓練演算法（如神經網路）可以很大地節約時間開銷。

     boosting演算法：大部分情況下分類精度優於bagging演算法，有權重計算，分類器是迭代生成，更關注上一輪的錯分元組，只能順序生成。

6、總結

（1）整合學習概念；

（2）Bagging等簡單的整合學習演算法；

（3）簡單的例子整合成複雜的例子；

（4）Boosting演算法；

（5）弱學習器；

（6）誤差的意義以及潛在分佈的概念。