最近在看EMNLP上的一篇文章，Yang Y, Eisenstein J. A log-linear model for unsupervised text normalization[C]//Proc. of EMNLP. 2013.提到了用重要性取樣解決隱狀態搜尋空間很大，因而無法用動歸訓練的無指導問題。文章就英文的Text Normalization任務提出這個方法，我覺得和中文NLP一些任務看成序列標準問題面臨同樣的問題，因此對該文的方法略做了瞭解。因為對重要性取樣不甚瞭解，這篇文章看了很久，看完後覺得受益頗多。下面是對其他部落格和wikipedia的理解之上的個人理解，或有‘毀人不倦’ 之嫌。

首先感謝兩篇好文章：

總之，幾句話重要性取樣的關鍵在於：(摘自上面的ppt)

•引入了重要性密度函式，它的分佈也被稱為 建議分佈 •P(x) 用一系列Q(x)取樣的到的點 加權估計 •(w_k ) ̃=(P(x_k))/(Q(x_k)) •對Q(x)的要求：

  1.儘量好取樣

  2.也儘量逼近P（x）

  The art of IS is Q(x)

•最優重要性密度函式：使得w_^k 方差最小 幾句話總結序貫重要性取樣SIS： SIS可以認為是IS的序列版本，建議重要性密度函式可以寫成遞推形式，所以sis的關鍵是設計遞推表示式Q(t_n|t_n-1,s_n) •序貫蒙特卡洛對隱變數序列的進行取樣 •適用於序列標準，也有其他broaduse •在SMC中，每個樣本是一個序列t_(1:n)^k • •P(t|s) •直接取樣是個非常非常高維的空間 不大可能採到 •SequentialImportance SamplingSIS 在Q(x) 下用少樣本Particles逼近真實分佈 •每一步每一個樣本 都不斷的更新wnk 以逼近px