二維Gibbs Sampling算法

Gibbs Sampling是高維概率分布的MCMC采樣方法。二維場景下，狀態(x, y)轉移到(x’, y’)，可以分為三種場景

（1）平行於y軸轉移，如上圖中從狀態A轉移到狀態B。

（2）平行於x軸轉移，如上圖中從狀態A轉移到狀態C。

（3）其他情況轉移，如上圖從狀態A轉移到狀態D。

對於上述三種情況，我們構造細致平穩條件

（1）A -> B

B –> A

顯然有

即

我們令轉移矩陣中x = x1軸上的狀態轉移概率為p(y|x1)，則場景一天然滿足細致平穩條件。

（2）同理，我們令轉移矩陣中y = y1軸上的狀態轉移概率為p(x|y1)，則場景二天然滿足細致平穩條件。即

（3）對於場景三，我們不允許其轉移。即

p(A) * 0 = p(D) * 0

實際上，從狀態A轉移到狀態D可以通過一次場景一轉移和一次場景二轉移得到。所以即使規定A到D的轉移概率為0，也滿足A到D可以經過有限次轉移達到。

總結一下，在二維概率分布的場景下，轉移矩陣按照如下方式構造，馬氏鏈即可達到指定的二維聯合概率分布平穩狀態

二維Gibbs Sampling算法

n維Gibbs Sampling算法

n維場景的考慮，與二維概率分布考慮一致：只允許狀態沿著某一個維度平行轉移，其他情況下狀態轉移概率為0。

（1）平行於y維轉移

（2）其他情況轉移

p(X1) * 0 = p(X2) * 0

n維Gibbs Sampling算法

參考：《LDA數學八卦》

Gibbs Sampling深入理解