因為原文偶爾會出現訪問不了的情況，所以特拷貝於此。

@吳宇WB

【前言】本篇文章中所涉及的大部分理論知識，都是由微博的推薦演算法和廣告演算法團隊共同收集，共同學習的，而現在這兩個團隊也合併成為一個更大的--推薦&廣告演算法團隊。相信在未來我們會一起將推薦&廣告演算法做的更好，也歡迎更多機器學習狂熱分子加入我們。

            這個系列文章主要分為5章：

第1章介紹本文中涉及的基礎演算法和基礎工具，包括EM，變分推斷，Gibbs Sampling三個基本演算法。兩個用來訓練LDA的工具：

Vowpal Wabbit和LDA gibbs取樣的原始碼。最後還有衡量LDA模型訓練效果的PMI-score定義。

第2章介紹LDA相關的理論知識，包括LDA的基本思想，Inference過程和引數估計，以及速度更快的Online VBEM演算法，最後詳細介紹瞭如何用Gibbs Sampling來訓練LDA。

第3章將解讀ICML 2014的best paper，給我們的啟示以及我們利用微博短文字做的相關實驗，證明了Gibbs Sampling的效果要好於Online VBEM演算法。

第4章重點介紹LDA目前在微博的內容推薦，使用者推薦以及廣告演算法中的應用。

第5章介紹我瞭解的一些關於LDA在工業界和學術界的進展。

附：由於文章較長，我會分兩期分享，第1期只有前3章的內容，第2期分享第4章和第5章。水平有限，如有錯誤，請及時指正。

          目錄

       1. 一些基礎演算法和工具

               1.1 EM演算法

               1.2 Variance Inference

               1.3 Gibbs Sampling

               1.4 Vowpal Wabbit

               1.5 Gibbs Sampling

原始碼

               1.6 Point-Wise Mutual Information

       2.LDA理論知識

               2.1 Inference

               2.2 Parameter estimation 引數估計

               2.3 平滑

               2.4 Online VBEM演算法

               2.5 Gibbs Sampling訓練過程

     3.利用微博短文字做的相關實驗

              3.1 Dirichlet分佈的物理解釋

              3.2 ICML 2014 Best Paper解讀

              3.3 VBEM演算法和Gibbs Sampling的實驗結果對比

1. 一些基礎演算法和工具

LDA全稱為Latent Dirichlet Allocation，在2003年由David M. Blei，Andrew Y. Ng和Michael I. Jordan三位大神提出來的【1】。在LDA的學習中發現涉及很多基礎的演算法，在本系列的第一章我會先簡要的介紹這幾種演算法，包括EM，Variational inference，Gibbs Sampling，並介紹我們用來訓練LDA的兩個工具。

1.1 EM演算法

EM全稱為Expectation Maximization ，即期望最大化。用於含隱變數的極大似然估計。現定義符號如下：

                                   觀察到的資料集記為X

隱變數記為Z

待估計的引數記為Θ

並令：Y=(X,Z)

  在給定X的情況下，估計Θ的方法通常為極大似然估計，簡稱MLE：  

但並不是每次都有解析解。當求解困難時就可以引入隱變數，利用EM演算法來迭代求解，近似MLE過程。具體過程如下：

              不斷的重複，直到Θ收斂。那為什麼EM演算法能近似MLE過程呢？

令L(X|Θ)=logP(X|

相關推薦