Hierarchical Softmax

Cbow:

    原理：用中心詞作為預測的值（輸出），輸出可看做一個點，和其他點（詞語）做區分，共同構成了一個霍夫曼樹，要求Xw經過層次softmax函式，達到輸出預測值概率最大。

    用周圍的詞做輸入，通過查表的形式，將原輸入的one-hot編碼形式轉換為詞向量形式，詞向量表初始化時為隨機值。然後簡單相加，得到Xw

    霍夫曼樹建立，先將所有詞按頻率排序，按頻率從小到大結合成霍夫曼樹（http://www.cnblogs.com/pinard/p/7160330.html）

       周圍的詞通過查表（詞向量表）加和得到xw，在通過層次softmax得到x3的概率最大值，注意，損失函式即為，採用極大似然法，概率最大化x3的值

    其中代表一個softmax概率，代表正概率，即霍夫曼樹向左傳播，代表覆蓋率，即霍夫曼樹向右傳播。

    最後要最大化這個損失函式，將這個損失函式求導，更新softmax中的sita值，和詞向量表中的值。我們要的是詞向量表中的詞。

層次softmax的skip-gram模型

    輸入xw就是x3的詞向量（需要訓練）

    輸出是x1245中的一個詞，即一個詞的概率

    損失函式即是，採用極大似然法，概率最大化x1（或x245）的值

    迴圈極大似然x1245，更新sita的改變數g，和xw的改變數e

    最後對所有的x1245統一進行更新

    注：本來每次訓練是對xw進行更改（即x3），為了整體迭代更加均勻，且為了效率，對x3進行的更新可看做對x1245進行更新，如何理解——當w3+e(迭代更新)能使

    HierarchicalSoftmax 的缺點：當面對一個頻率出現小的詞，他的霍夫曼樹要走很久，霍夫曼樹還是很複雜。

Negative Sampling負取樣方法

    概率性的選擇N個詞，作為可能輸出的值，代替了詞庫所有的詞，作為softmax輸出的選項。

    以一個詞的頻率作為詞的長度，概率性的選擇N-1個負樣例，與正樣例組成N個softmax輸出的可能性。

    最後通過softmax x0最大化為損失函式。反向求導，更新sita值和xw值

    對於skip-gram模型，輸入輸出組成兩兩一隊形式進行訓練，即（x1,x3）,(x2,x3),(x4,x3),(x5,x3)這四隊，分別進行訓練

參考：http://www.cnblogs.com/pinard/p/7249903.html