1. 程式人生 > >LDA的Gibbs Sampling求解

LDA的Gibbs Sampling求解

詞語 png 分享 主題 bbs 概率 批註 com img

《LDA數學八卦》對於LDA的Gibbs Sampling求解講得很詳細,在此不在重復在輪子,直接貼上該文這部分內容。

Gibbs Sampling

技術分享圖片

技術分享圖片

技術分享圖片

技術分享圖片

技術分享圖片

批註:

1、 對於第i個詞語,上式k(主題類型)未知,取值範圍為[1, K],t(詞語類型)已知,即觀測值。

2、 由於doc-topic與topic-word獨立,所以第i個詞語主題為k,類型為t的概率顯然是主題k概率在doc m-topic分布上的積分乘以詞語t概率在topic k-word分布上的積分。即技術分享圖片

技術分享圖片

技術分享圖片

批註:我們已經得到了每個topic-word的邊緣分布,通過Gibbs Sampling很容易得到topic-word的完整分布。

Training And Inference

技術分享圖片

技術分享圖片

技術分享圖片

LDA的Gibbs Sampling求解