論文：arXiv:1312.6114v10

摘要：帶複雜後驗分佈的連續隱變數和大資料集中，如何使模型學習和推斷（inference）更加高效？論文提出隨機變數推斷(inference)，論文主要共享兩個方面：1.提出可以直接使用隨機梯度下降的再引數化的下屆估計ELOB(evidence lower bound)。2.使用下屆估計使用生成模型近似複雜的後驗分佈。簡單來說：原來生成模型的下屆估計很難用傳統的梯度下降方法計算，所以選用了隨機梯度下降，提出生成模型可以解決複雜的後驗分佈計算難的問題。

知識點：梯度下降，貝葉斯公式

方法：ML(maximum likelihood), MAP(maximum a posteriori),

, conditional distribution which is also called likelihood. 論文提出解決三個棘手問題，1.高效逼近ML或者MAP 2.高效逼近隱變數z的 posterior inference 3.高效逼近x的 marginal inference。論文引入一個生成模型來逼近真正的後驗分佈，論文將看做編碼器(encoder)，編碼器將產生一個高斯分佈將z可能的值（x可能被生成的地方），將看做解碼器(decoder)，z將產生一個關於分佈x的值的可能性的分佈。

變數下屆（variational bound）:

其中變數下屆：

最終形式：

但是上面的公式中計算梯度時，難度較大，很難實現。

使用代替，如果使用蒙特卡洛估計的話：

使用隨機梯度策略SGVB(stochastic Gradient Variational Bayes)：

VAE的虛擬碼如下：

中間有一個過過渡公式：

KL散度的作用就是逼近後驗分佈，像一個regularizer，第二部分表示負的重建誤差。的作用是在隨機噪聲向量，在中的隨機取樣，表示生成模型的稠密度。

在論文的附錄B裡面有一個解決辦法：

所以最終的公式就是：

再把上面一個公式拿下來最對比：

論文就是將KL散度和後面的期望進行可計算化處理。