組合模型

阿新 • • 發佈：2018-11-19

組合模型

委員會(PRML 14.2)

構建⼀個委員會的最簡單的⽅法是對⼀組獨⽴的模型的預測取平均。這樣的⽅法的動機可以從頻率學家的觀點看出來。這種觀點考慮偏置和⽅差之間的折中，它將模型的誤差分解為偏置分量和⽅差分量，其中偏置分量產⽣於模型和真實的需要預測的函式之間的差異，⽅差分量表⽰模型對於單獨的資料點的敏感性。回憶⼀下，根據圖3.5，當我們使⽤正弦資料訓練多個多項式函式，然後對得到的函式求平均時，來⾃⽅差項的貢獻傾向於被抵消掉，從⽽產⽣了預測的提升。當我們對⼀組低偏置的模型（對應於⾼階多項式）求平均時，我們得到的對⽤於⽣成資料的正弦函式的精確的預測。當然，在實際應⽤中，我們只有⼀個單獨的資料集，因此我們必須尋找⼀種⽅式來表⽰委員會中不同模型之間的變化性。⼀種⽅法是使⽤1.2.3節討論的⾃助（bootstrap）資料集。

基於樹的模型（PRML 14.4）

有許多簡單但⼴泛使⽤的模型，它們將輸⼊空間劃分為超⽴⽅體區域，超⽴⽅體的邊與座標軸對齊，然後為每個區域分配⼀個簡單的模型（例如，⼀個常數）。這些模型可以被看成⼀種模型組合⽅法，其中只有⼀個模型對於輸⼊空間中任意給定點的預測起作⽤。給定⼀個新的輸⼊x，選擇⼀個具體的模型的過程可以由⼀個順序決策的過程描述，這個過程對應於對⼀個⼆叉樹（每個節點劃分為兩個分⽀的樹）的遍歷。這⾥，我們關注⼀個特定的基於樹的框架，被稱為分類與迴歸樹（classification and regression tree），或者CART（Breiman et al., 1994），雖然還有很多其他的變體，例如ID3和C4.5（Quinlan, 1986; Quinlan, 1993）。
條件混合模型(PRML 14.5)

普通混合

線性迴歸混合、logistic混合、高斯混合、多項分佈混合。（PRML 14.4）

專家混合

在14.5.1節，我們考慮了線性迴歸模型的混合，在14.5.2節，我們討論了線性分類器的類似的混合。雖然這些簡單的混合擴充套件了線性模型的靈活程度，包含了更復雜的（例如多峰的）預測分佈，但是它們仍然具有很⼤的侷限性。我們可以進⼀步增強這些模型的能⼒，⽅法是使得混合係數本⾝是輸⼊變數的函式
這裡寫圖片描述
由於門函式和專家函式使⽤了線性模型，因此這樣的模型仍然有很⼤的侷限性。⼀個更加靈活的模型時使⽤多層門函式，得到了專家層次混合（hierarchical mixture of experts）模型或者HME模型（Jordan and Jacobs, 1994）。為了理解這個模型的結構，假設⼀個混合分佈，它的每個分量本⾝都是⼀個混合分佈。對於⽆條件的混合分佈，層次混合簡單地等價於⼀個普通的混合分佈。然⽽，當混合係數與輸⼊相關時，層次模型就變得不普通了。HME模型也可以被看成14.4節討論的決策樹的概率版本，並且與之前⼀樣可以通過最⼤似然的⽅式使⽤EM演算法以及M步驟中的IRLS演算法⾼效計算。
我們這⾥不會詳細討論HME。然⽽，值得指出的⼀點是，它與PRML5.6節討論的混合密度⽹絡（mixture density network）有著密切的聯絡。

提升方法（Boosting）（PRML 14.3、ESL 10.* paper_GBM）

提升⽅法是⼀種很強⼤的⽅法，它將多個“基”分類器進⾏組合，產⽣⼀種形式的委員會，委員會的表現會⽐任何⼀個基分類器的表現好得多。
提升⽅法最初被⽤來解決分類問題，但是也可以推⼴到迴歸問題。
提升⽅法和委員會⽅法（例如上⾯討論的打包⽅法）的主要不同在於，基分類器是順序訓練的，每個基分類器使⽤資料集的⼀個加權形式進⾏訓練，其中與每個資料點相關聯的權係數賴於前⼀個分類器的表現。特別地，被⼀個基分類器誤分類的點在訓練序列中的下⼀個分類器時會被賦予更⾼的權重。⼀旦所有的分類器都訓練完畢，那麼它們的預測就會通過加權投票的⽅法進⾏組合，如圖14.1所⽰。
這裡寫圖片描述