【原創】關於skip-gram的個人理解
阿新 • • 發佈：2018-12-05
★skip-gram的關鍵術語與詳細解釋：
【語料】——
所有句子文件（當然會出現大量重複的單詞）
【詞典（可用V維的onehot編碼來表示）】——
語料中出現的所有單詞的集合（去除了重複詞）
【視窗大小（上下文詞語數量m）】——
即指定中心詞後我們關注的上下文數量定為該中心詞前m個詞和後m個詞（一共2m個上下文詞）。
【詞典中心詞向量矩陣（下圖d×V維的W矩陣）】——
通俗來說詞典中心詞向量矩陣是由詞典中的一個單詞的詞向量組合而成的（每一列就是詞典中的一個單詞的詞向量），而每一個詞的詞向量就是假設我們的詞典包含了d個維度的抽象資訊。 ![]()
![]()
★skip-gram的核心：
通過檢視所有語料的詞作為中心詞時，其（中心詞）與上下文的2m個詞語的所有共現情況，這樣就得到我們要逼近的中心詞與上下文對應關係的條件概率分佈