貝葉斯深度學習：變分推理

阿新 • • 發佈：2018-12-17

1.貝葉斯深度學習

深度學習中，學習的目標是一個確定的權重 $W$ ， $y = f(W,x)$ ，這可能會存在一些問題（比如被對抗樣本愚弄）。貝葉斯深度學習不希望結果由某一個確定的權重 $W$ 決定，希望學習得到一組權重的分佈 $p(W|D)$ ( $D$ 表示資料樣本)，然後通過這組權重共同投票得到結果：

$y = \sum_i p(W_i|D)*f(W_i,x)$

給定資料集 $D$ ，直接學習得到權重的分佈 $P(W|D)$ 是不太容易的，這裡介紹基於變分的方法。

2.變分法

目標：給定資料集 $D=[X,Y]$ ，學習得到權重分佈 $p(W|X,Y)$ 轉換：學習 $q(W)$ 分佈，使得 $min\ KL(q||p)$

$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ KL(q||p) &= \s…$ 上式中， $p(Y|X)$ 表示常數，因此上式可以寫成 $K L (q ∣ ∣ p) = E_{q} [log q (W) - log p (W) - log p ($

Y∣X,W)]+cKL(q||p)=E_q[\text{log }q(W)-\text{log }p(W)-\text{log }p(Y|X,W)]+c

K L (q ∣ ∣ p) = E_{q} [log q (W) - log p (W) - log p (Y ∣ X, W)] + c

通過上面的公式，優化目標變成三項，下面用程式實現這三項的優化。

3.程式實現

待優化的公式中， $E_q$ 這個求平均的操作是通過不斷迭代體現出來的，並不會在程式中顯式地體現。

3.1生成 $E_q(\text{log }q(W))$ 項

假設 $q(W)\sim N(\mu_W, \sigma_W)$

q (W) \sim N (μ_{W}, σ_{W})

，

\mu,\sigma

無法通過梯度反轉求導。模擬生成

q(W)

項可以使用VAE中的重引數技巧，這樣

\mu,\sigma

相當於兩個變數，可以通過梯度反轉優化。

$\epsilon\sim N(0,1)\Rightarrow \mu+\sigma*\epsilon\sim N(\mu,\sigma)$

$W$ 可以看成一組引數的組合， $W=[w_1,w_2,...,w_n]$ ，假設這組引數互相獨立

$KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ \text{log }q(W…$

3.2 $E_q(\text{log }p(W))$

$p(W)$ 表示權重 $W$ 的先驗分佈，假設這個分佈是標準正態分佈。

$\text{log }p(W)=\sum_i\text{log }p(w_i)=\sum_i\text{log }exp(-\frac{w-0}{2*1^2})$

3.3 $E_q(\text{log }p(Y|X,W))$

$\text{log }p(Y|X,W)=\text{log }exp(-\frac{f(X,W)-Y}{2\sigma^2})$

中間區域擬合的線條密集，基本可以重合到一起，這部分割槽域的迴歸結果是可信的，在兩端的線條比較分散，說明這部分的迴歸結果是不可信的。

變分推斷進行函式擬合實驗結果.jpg

貝葉斯深度學習：變分推理

1.貝葉斯深度學習

2.變分法

3.程式實現

3.1生成 $E_q(\text{log }q(W))$ 項

3.2 $E_q(\text{log }p(W))$

3.3 $E_q(\text{log }p(Y|X,W))$

貝葉斯深度學習：變分推理

python資料分析：內容資料化運營（下）——基於多項式貝葉斯增量學習分類文字

機器學習：貝葉斯總結_3：線性迴歸和貝葉斯迴歸

樸素貝葉斯（二：實戰）

貝葉斯分類器：樸素、半樸素貝葉斯

樸素貝葉斯分類器：MATLAB工具箱實現

貝葉斯機器學習前沿進展

樸素貝葉斯案例1：進行文件/評論分類（python實現）

樸素貝葉斯演算法學習及程式碼示例

再談變分自編碼器VAE：從貝葉斯觀點出發

一文讀懂貝葉斯推理問題：MCMC方法和變分推斷

機器學習：貝葉斯分類器

機器學習之路： python 樸素貝葉斯分類器預測新聞類別

機器學習：貝葉斯分類器（二）——高斯樸素貝葉斯分類器代碼實現

統計學習四：1.樸素貝葉斯

貝葉斯網（2）Netica：從數據中學習CPT

《貝葉斯思維：統計建模的Python學習法》高清中文版PDF+高清英文版PDF+原始碼

分享《貝葉斯思維：統計建模的Python學習法》高清中文版PDF+高清英文版PDF+源代碼

樸素貝葉斯分類numpy版本——深度學習

學習筆記（七）：樸素貝葉斯在Web安全中的六個應用

貝葉斯深度學習：變分推理

1.貝葉斯深度學習

2.變分法

3.程式實現

3.1生成 Eq(log q(W))E_q(\text{log }q(W))Eq​(log q(W)) 項

3.2 Eq(log p(W))E_q(\text{log }p(W))Eq​(log p(W))

3.3 Eq(log p(Y∣X,W))E_q(\text{log }p(Y|X,W))Eq​(log p(Y∣X,W))

相關推薦

3.1生成 $E_q(\text{log }q(W))$ 項

3.2 $E_q(\text{log }p(W))$

3.3 $E_q(\text{log }p(Y|X,W))$