概率圖模型
生成式模型與判別式模型
假設可觀測到的變數集合為 X XX，需要預測的變數集合為 Y YY，其他的變數集合為 Z ZZ。生成式模型是對聯合概率分佈 P ( X , Y , Z ) P(X,Y,Z)P(X,Y,Z) 進行建模，在給定觀測集合 X XX 的條件下，通過計算邊緣分佈來得到對變數集合 Y YY 的推斷，即

判別式模型是直接對條件概率分佈 P ( Y , Z ∣ X ) P(Y,Z|X)P(Y,Z∣X)進行建模，然後消掉無關變數 就可以得到對變數集合 Z 的預測，即

常見的概率圖模型由樸素貝葉斯、最大熵模型、貝葉斯網路、隱馬爾可夫模型、條件隨機場、pLSA、LDA等。基於上面對生成式模型與判別式模型的區分，可以知道樸素貝葉斯、貝葉斯網路、pLSA、LDA等模型都是先對聯合概率分佈進行建模，然後再通過計算邊緣分佈得到對變數的預測，所以它們都屬於生成式模型；而最大熵模型是直接對條件概率分佈進行建模，因此屬於判別式模型。隱馬爾可夫模型和條件隨機場模型是對序列資料進行建模的方法，隱馬爾可夫模型屬於生成式模型，條件隨機場屬於判別式模型。