機器學習(2) 變分推斷
阿新 • • 發佈:2019-01-26
變分
對於普通的函式
f(x) ,我們可以認為f 是一個關於x 的一個實數運算元,其作用是將實數x 對映到實數f(x) 。那麼類比這種模式,假設存在函式運算元F ,它是關於f(x) 的函式運算元,可以將f(x) 對映成實數F(f(x)) 。對於f(x) 我們是通過改變x來求出f(x) 的極值,而在變分中這個x 會被替換成一個函式y(x) ,我們通過改變x 來改變y(x) ,最後使得F(y(x)) 求得極值。
變分推斷
logP(x)=logP(x,z)−logP(z|x)=logP(x,z)q(z)−logP(z|x)q(z)=logP(x,z)−logq(z)−logP(z|x)q(z)=logP( x,z)−logq(z)+logq(z)P(z|x)∫q(z)logP(x)dzlogP(x)現在等式兩邊同時對q(z)做期望,即,=∫q(z)logP(x,z)dz−∫q(z)logq(z)dz+∫q(z)logq(z)P(z|x)dz由於q(z)與P(x)無關,所以∫q(z)logP(x)dz=logP(x)原式最終變為:=∫q(z)logP(x,z)dz−∫q(z)logq(z)dzL(q(z)),ELOB(EvidenceLowerBound)+∫q(z)logq(z)P(z|x)dzKL(q(z)|| P(z|x))
推了這麼多公式,讓我們先喘口氣,來看看這些公式究竟在