學習：

引數學習：給定一組訓練樣本，求解模型引數 進行引數估計

有向圖：

在貝葉斯網路中，所有變數x的聯合概率分佈可以分解為每個隨機變數x_k的區域性條件概率的連乘形式

無向圖：

以對數線性模式為例

含隱變數的引數估計

隱變數即變數是不可觀測的 圖中x為可觀測變數 z為不可觀測變數

高斯混合模型：

高斯混合模型難點：因為z是不可觀測的，不知道具體那個樣本具體來自那個高斯，簡單的解法：K-means

主要兩步

含有隱變數的引數估計：期望最大化 Expectation-Maximum 演算法 思想首先找一個q(Z)使得KL儘可能為0 然後就最大化ELBO

收斂性：

GMM Revisit E步

M步

最後結果

圖示：

K-means vs EM

推斷：

給定部分變數，推斷另一部分變數的後驗概率

不同的圖模型 推斷P(x|y)難度不一樣

推斷分類

如何計算邊際概率

計算邊際概率

應用乘法的分配律可以大大減少計算量 變數消去法

為了減少重複計算 信念傳播演算法 Belief Propagation

舉例：鏈上傳播

詳細計算

鏈式結構圖模型的信念傳播過程：

更一般的推斷：樹結構

近似推斷：