01 簡單介紹

         概率圖模型是圖論和概率論結合的產物，它的開創者是鼎鼎大名的Judea Pearl,我十分喜歡概率圖模型這個工具，它是一個很有力的多變數而且變數關係視覺化的建模工具，主要包括兩個大方向：無向圖模型和有向圖模型。無向圖模型又稱馬氏網路，它的應用很多，有典型的基於馬爾科夫隨機場的影象處理，影象分割，立體匹配等，也有和機器學習結合求取模型引數的結構化學習方法。嚴格的說他們都是在求後驗概率:p(y|x)，即給定資料判定每種標籤y的概率，最後選取最大的後驗概率最大的標籤作為預測結果。這個過程也稱概率推理(probabilistic inference）。而有向圖的應用也很廣，有向圖又稱貝葉斯網路(bayes networks),說到貝葉斯就足以可以預見這個模型的應用範圍咯，比如醫療診斷，絕大多數的機器學習等。但是它也有一些爭議的地方，說到這就回到貝葉斯派和頻率派幾百年的爭議這個大話題上去了，因為貝葉斯派假設了一些先驗概率，而頻率派認為這個先驗有點主觀，頻率派認為模型的引數是客觀存在的，假設先驗分佈就有點武斷，用貝葉斯模型預測的結果就有點“水分”，不適用於比較嚴格的領域，比如精密製造，法律行業等。好吧，如果不遵循貝葉斯觀點，前面講的所有機器學習模型都可以dismiss咯，我們就通過大量資料統計先驗來彌補這點“缺陷”吧。無向圖和有向圖的例子如（圖一）所示：

圖一 (a)無向圖（隱馬爾科夫） (b)有向圖

         概率圖模型吸取了圖論和概率二者的長處，圖論在許多計算領域中扮演著重要角色，比如組合優化，統計物理，經濟等。圖的每個節點都可看成一個變數，每個變數有N個狀態（取值範圍），節點之間的邊表示變數之間的關係，它除了可以作為構建模型的語言外，圖還可以評價模型的複雜度和可行性，一個演算法的執行時間或者錯誤界限的數量級可以用圖的結構性質來分析，這句話說的範圍很廣，其實工程領域的很多問題都可以用圖來表示，最終轉換成一個搜尋或者查詢問題，目標就是快速的定位到目標，試問還有什麼問題不是搜尋問題？樹是圖，旅行商問題是基於圖，染色問題更是基於圖，他們具有不同的圖的結構性質。對於樹的時間複雜度我們是可以估算出來的，而概率圖模型的一開始的推理求解方法也是利用圖的結構性質，把複雜圖轉換成樹（容易處理的圖）的形式來求解，這個演算法被稱為聯合樹演算法（junction tree algorithm）。聯合樹演算法簡單的說就是利用圖的條件獨立性質把圖分解，然後以樹的形式組織，最後利用樹的良好操作性進行推理求解（訊息傳遞），聯合樹演算法是後續章節的重要的推理演算法之一。但並不是所有的圖都能拆分成樹的形式，一般只有合適的稀疏邊的圖才能轉成樹，因此聯合樹演算法也有一定的限制。不能構建聯合樹，那怎麼推理求解？好在還有其他幾種方法，概率圖模型的第二個成分：概率，既然進入了概率空間，那基於蒙特卡洛（MCMC）的取樣方法也就可以使用了，反正就是求最大後驗概率，MCMC的求解方法也是經常利用的工具，還有一些基於均值場(mean field)以及變分方法(variational method)的求解工具。這幾個求解方法的演算法複雜度比較如（圖二）所示：

(圖二)  推理求解演算法效能比較

       （圖二）中的幾種求解方法也都是概率圖模型或者統計機器學習裡經常使用的方法，MCMC方法和變分方法都起源於統計物理，最近很火的深度學習也算是概率圖模型的一個應用，儘管你要反對，我也要把它劃到概率圖模型下^.^，RBM,CRBM,DBM都是很特殊的概率圖模型，整個思路從建模到求解方法都是圍繞著求取圖模型節點的最大後驗概率來開展的。MCMC求解方法就不說了，深度學習裡已經用的很多咯，而變分方法（variational method）很有吸引力，andrew ng的師傅Michael Jordan認為把變分方法用在統計機器學習中的有希望的方法是把凸分析和極家族分佈函式連結起來，既然有凸分析，那麼就會伴隨著凸鬆弛(convex relaxtion),因為資料是離散的，具體可以看前面的關於凸鬆弛的博文介紹。另外還有一些圖模型特有的求解方法，比如belief propagation(sum-product algorithm)n或者expectation propagation等求解方法。

       上面算是對概率圖模型做了個簡單的介紹，接下的來的博文就是按照下面的提綱來記錄一下學習筆記，在儘量不違背honor code的情況下，用原來Daphne koller教授的作業來做輔助介紹。

        一、介紹圖模型定義

        二、利用基於變分方法的極家族和凸分析來求邊緣概率

        三、逼近求解方法，如belief-propagation、expectation-propagation等

        四、均值場求解方法等各種優化求解方法

        五、結構化學習

參考文獻：

    [1]Graphical models, exponential families, and variational inference. Martin J . Wain wright and Michael  I.  Jordan

    [2]Probabilistic Graphical Models. Daphne Koller

    [3]The Design and Analysis of Computer Algorithms.Alfred V.Aho