GloVe損失函數的理解

阿新 • • 發佈：2018-04-07

ram frame minus 想法 absolute 技術意義 sdn 算法

簡介

GloVe是一種非常簡單快速的訓練詞向量的算法。與復雜的word2vec相比，其是一個log雙線性模型，僅通過一個簡單的損失函數就能夠得到很好的結果。

\begin{matrix} (1) & J = \sum_{i, j}^{N} f (X_{i, j}) (v_{i}^{T} v_{j} + b_{i} + b_{j} - l o g (X_{i, j}))^{2} \end{matrix}

其中， $v_{i}$ 和 $v_{j}$ 是i和j的詞向量， $b_{i}$ 和 $b_{j}$ 是兩個偏差項， $f$ 是一個權重函數，N為詞匯表大小
但是這個損失函數的意義卻不是很直觀，這裏參照一篇博客寫了一下對於這個損失函數的分析

思路

Glove首先會通過設置定義的窗口大小，進行統計得到詞的共現矩陣。如 $X_{i, j}$ 表示詞 $i$ 和 $j$ 同時出現的次數。共現矩陣是一個 $N \times N$

的矩陣

然後我們需要計算一些條件概率
定義

X_{i} = \sum_{j = 1}^{N} X_{i, j}

P_{i, k} = \frac{X_{i, k}}{X_{i}}

r a t i o_{i, j, k} = \frac{P_{i, k}}{P_{j, k}}

然後我們分析這裏的ratio會發現一些規律

技術分享圖片
所以我們想到，如果能夠通過詞向量 $v_{i}$ , $v_{j}$ 和 $v_{k}$ 得到相似的規律的，那麽說明我們的詞向量是很不錯的。即我們想做的是得到函數 $g ()$ ，使之滿足

r a t i o_{i, j, k} = \frac{P_{i, k}}{P_{j, k}} = g (v_{i}, v_{j}, v_{k})

那麽為了使二者盡量想近，對於損失函數，一個直觀的想法就是MSE，即

\begin{matrix} (2) & J = \sum_{i, j, k}^{N} (\frac{P_{i, k}}{P_{j, k}} - g (v_{i}, v_{j}, v_{k}))^{2} \end{matrix}

不過這裏的計算復雜度是 $N^{3}$ ，過於復雜，我們需要進一步分析。我們可以開始猜想一下 $g (v_{i}, v_{j}, v_{k})$ 是一個什麽樣的形式，因為其衡量了單詞i，j之間的關系，那麽我們可以猜想其中含有 $v_{i} - v_{j}$ ，又因為其中還有對k的關系且最終是一個標量，那麽我們假設其存在一個內積，即 $(v_{i} - v_{j})^{T} v_{k}$
那麽現在我們有

\frac{P_{i, k}}{P_{j, k}} = g (v_{i}, v_{j}, v_{k}) = (v_{i} - v_{j})^{T} v_{k} = v_{i}^{T} v_{k} - v_{j}^{T} v_{k}

可以看到這裏我們和上面的損失函數有點類似了，但是還是缺少一個 $\exp$ ，我們可以加上它看看，即

\frac{P_{i, k}}{P_{j, k}} = \exp (v_{i}^{T} v_{k} - v_{j}^{T} v_{k}) = \frac{\exp (v_{i}^{T} v_{k})}{\exp (v_{j}^{T} v_{k})}

可以看到，加上 $\exp$ 之後分子分母的形式就完全一樣了，我們可以將其一起考慮，即現在只需要滿足

P_{i, j} = e x p (v_{i}^{T} v_{j})

兩邊取對數，我們的損失函數就能夠轉化為

\begin{matrix} (3) & J = \sum_{i, j}^{N} (l o g (P_{i, j}) - v_{i}^{T} v_{j})^{2} \end{matrix}

這個損失函數已經更像一些了，但是還是不太一樣。這是因為我們前面是存在一點問題的。根據前面我們有

l o g (P_{i, j}) = v_{i}^{T} v_{j} 和 l o g (P_{j, i}) = v_{j}^{T} v_{i}

但是實際上，上面的式子右邊是相等的，但左邊並不相等（並且對於這個問題來說，我們可以想到target和context其實是可以互換的，所以存在對稱），即原有的對稱性不滿足了。我們需要進一步處理一下。我們將上面(3)的中的條件概率 $l o g (P_{i, j})$ 展開，得到

l o g (P_{i, j}) = l o g (X_{i, j}) - l o g (X_{i}) = v_{i}^{T} v_{j}

這裏的 $l o g (X_{i})$ 是獨立於j的，所以可以被吸收進 $b_{i}$ 變為

l o g (X_{i, j}) = v_{i}^{T} v_{j} + b_{i} + b_{j}

這樣代價函數就變成了

J = \sum_{i, j}^{N} (v_{i}^{T} v_{j} + b_{i} + b_{j} - l o g (X_{i, j}))^{2}

然後加上詞頻越高權重越大（共現次數很少的實際上很可能是異常值，並且共現次數少的一般來說含的信息也少）

\begin{matrix} (4) & J = \sum_{i, j}^{N} f (X_{i, j}) (v_{i}^{T} v_{j} + b_{i} + b_{j} - l o g (X_{i, j}))^{2} \end{matrix}

權重函數

f (x) = {\begin{cases} (x / x m a x)^{0.75}, & if x < x m a x \\ 1, & if x >= x m a x \end{cases}

技術分享圖片

引用

Pennington J, Socher R, Manning C. Glove: Global vectors for word representation[C]//Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP). 2014: 1532-1543.
https://blog.csdn.net/codertc/article/details/73864097

<wiz_tmp_tag id="wiz-table-range-border" contenteditable="false" style="display: none;">

來自為知筆記(Wiz)

GloVe損失函數的理解

ram frame minus 想法 absolute 技術意義 sdn 算法簡介 GloVe是一種非常簡單快速的訓練詞向量的算法。與復雜的word2vec相比，其是一個log雙線性模型，僅通過一個簡單的損失函數就能夠得到很好的結果。 (1)J=&su

GloVe損失函數的理解

簡介

思路

引用

<wiz_tmp_tag id="wiz-table-range-border" contenteditable="false" style="display: none;">

GloVe損失函數的理解

2.2 logistic回歸損失函數（非常重要，深入理解）

『cs231n』限制性分類器損失函數和最優化

激活函數和損失函數

1.java中main函數理解

統計學習中常用的損失函數

箭頭函數(理解)

機器學習損失函數(Loss/Error Function)、代價函數(Cost Function)和目標函數(Objective function)

語音識別 - 損失函數

機器學習中的目標函數、損失函數、代價函數有什麽區別？

關於損失函數那些事兒

[吃藥深度學習隨筆] 損失函數

tensorflow進階篇-4(損失函數3)

損失函數

損失函數之交叉熵

機器學習之路： tensorflow 自定義損失函數

TensorFlow(三) 用TensorFlow實現L2正則損失函數線性回歸算法

ECMAScript 學習筆記（2）--ES6新增let、箭頭函數理解

【深度學習】一文讀懂機器學習常用損失函數（Loss Function）

對數損失函數(Logarithmic Loss Function)的原理和 Python 實現

GloVe損失函數的理解

簡介

思路

引用

<wiz_tmp_tag id="wiz-table-range-border" contenteditable="false" style="display: none;">

相關推薦