在工作中用到了類似於negative sample的方法，才發現我其實並不瞭解candidate sampling。於是看了一些相關資料，在此簡單總結一些相關內容。

主要內容來自tensorflow的candidate_sampling和卡耐基梅隆大學一個學生寫的一份notesNotes on Noise Contrastive Estimation and Negative Sampling，還有一部分參考了tensorflow的nce_loss和sampled_softmax_loss的文件。

What is Candidate Sampling

首先，什麼是candidate sampling呢？假設我們有這樣一個問題，給定一個樣本集，其中每個樣本由

如果我們使用正常的softmax方法，那麼在計算每一個sample時，我們都需要遍歷整個集合，對每一個可能的計算一次，這是非常昂貴的操作。尤其是在NLP的相關預測中，這一操作代價更加高昂。所以candidate sampling的方法被提了出來：在計算每一個sample時，我們從整個標籤集合或者負標籤集合中隨機取樣出一個小的candidate集合，將和一起組成當前的candidate集合，並在上計算。

常見的candidate sampling方法的特性可以見下表：

在這個表中，是一個不依賴於候選類的任意函式。 由於Softmax涉及歸一化，因此新增這樣的函式不會影響計算的概率。是中類y的期望概率或者期望個數。

NCE和nagetive sample可以適應於是multiset的情況，在這種情況下，等於中類y的期望個數。NCE，negative sampling和sampled logistic可以適應於是multiset的情況，在這種情況下，等於中類y的期望個數。

Noise Contrastive Estimation (NCE)

我們考慮一種簡單的也是最常用的情況，。以經典的word預測為例，此時。我們給定經驗分佈和，則每一個訓練集中的正樣本都相當於從

那麼使用條件概率公式，我們就可以寫出:

在神經網路演算法中，我們使用來代替，並試圖用梯度下降法來訓練。

Negative Sampling

Negative Sampling是NCE的一種近似，比較值得注意的是，negative sampling對於分佈Q有強依賴，NCE則沒有這個問題。

tensorflow實現

NCE loss在tensorflow中的文件可以參考tf.nn.nce_loss。要注意的是，使用這種方法時，標籤必須按照frequency的降序排序，因為預設的取樣方法是tf.nn.log_uniform_candidate_sampler。當然我們也可以實現自己的取樣方法。

Negative sampling則用sampled_softmax_loss來實現，注意sampled_softmax_loss只能處理一個正label的情況。