在前面我們講到了基於矩陣分解的LSI和NMF主題模型，這裡我們開始討論被廣泛使用的主題模型：隱含狄利克雷分佈(Latent Dirichlet Allocation，以下簡稱LDA)。注意機器學習還有一個LDA，即線性判別分析，主要是用於降維和分類的，如果大家需要了解這個LDA的資訊，參看之前寫的線性判別分析LDA原理總結。文字關注於隱含狄利克雷分佈對應的LDA。

1. LDA貝葉斯模型

　　　　LDA是基於貝葉斯模型的，涉及到貝葉斯模型離不開“先驗分佈”，“資料（似然）”和"後驗分佈"三塊。在樸素貝葉斯演算法原理小結中我們也已經講到了這套貝葉斯理論。在貝葉斯學派這裡：

先驗分佈 + 資料（似然）= 後驗分佈

　　　　這點其實很好理解，因為這符合我們人的思維方式，比如你對好人和壞人的認知，先驗分佈為：100個好人和100個的壞人，即你認為好人壞人各佔一半，現在你被2個好人（資料）幫助了和1個壞人騙了，於是你得到了新的後驗分佈為：102個好人和101個的壞人。現在你的後驗分佈裡面認為好人比壞人多了。這個後驗分佈接著又變成你的新的先驗分佈，當你被1個好人（資料）幫助了和3個壞人（資料）騙了後，你又更新了你的後驗分佈為：103個好人和104個的壞人。依次繼續更新下去。

2. 二項分佈與Beta分佈

　　　　對於上一節的貝葉斯模型和認知過程，假如用數學和概率的方式該如何表達呢？

　　　　對於我們的資料（似然），這個好辦，用一個二項分佈就可以搞定，即對於二項分佈：

　　　　其中p我們可以理解為好人的概率，k為好人的個數，n為好人壞人的總數。

　　　　雖然資料(似然)很好理解，但是對於先驗分佈，我們就要費一番腦筋了，為什麼呢？因為我們希望這個先驗分佈和資料（似然）對應的二項分佈集合後，得到的後驗分佈在後面還可以作為先驗分佈！就像上面例子裡的“102個好人和101個的壞人”，它是前面一次貝葉斯推薦的後驗分佈，又是後一次貝葉斯推薦的先驗分佈。也即是說，我們希望先驗分佈和後驗分佈的形式應該是一樣的，這樣的分佈我們一般叫共軛分佈。在我們的例子裡，我們希望找到和二項分佈共軛的分佈。

　　　　和二項分佈共軛的分佈其實就是Beta分佈。Beta分佈的表示式為：

　　　　其中ΓΓ是Gamma函式，滿足Γ(x)=(x−1)!Γ(x)=(x−1)!

　　　　仔細觀察Beta分佈和二項分佈，可以發現兩者的密度函式很相似，區別僅僅在前面的歸一化的階乘項。那麼它如何做到先驗分佈和後驗分佈的形式一樣呢？後驗分佈P(p|n,k,α,β)P(p|n,k,α,β)推導如下：

　　　　將上面最後的式子歸一化以後，得到我們的後驗概率為：