Word2Vec學習筆記（五）——Negative Sampling 模型(續)

阿新 • • 發佈：2019-01-12

本來這部分內容不多，是想寫在negative sampling 中和cbow一起的，但是寫了後不小心按了刪除鍵，瀏覽器直接回退，找不到了，所以重新寫新的，以免出現上述情況

(接上)

三、Negative Sampling 模型——Skip-gram

這部分內容並不多，與cbow相比，只是目標函式有所變化，推導過程這裡就略過。總的來說，就是將目標函式取最大似然，然後利用SGD方法求出詞向量和最優引數。
目標函式如下所示：

G=∏w∈Cg(w)
其中，g(w)可以改寫成如下形式：
g(w)=∏u∈context(w)g(u)
g(u)表示如下：
g(u)=∏z∈{u}

∪NEG(u)p(z|w)
其中，NEG(u)表示在處理詞u時產生的負樣本集合。p(z|w)如下：
p(z|w)={σ(v(w)Tθz),1−σ(v(w)Tθz),Lu(z)=1Lu(z)=0
將以上式子合併之後就可以得到最終的目標函式：
G=∏w∈C∏u∈context(w)∏z∈{u}∪NEG(u)σ(v(w)Tθz)Lu(z)(1−σ(v(w)Tθz))Lu(z)
然後取G的最大似然對數，求目標函式的最優化。

Word2Vec學習筆記（五）——Negative Sampling 模型(續)

本來這部分內容不多，是想寫在negative sampling 中和cbow一起的，但是寫了後不小心按了刪除鍵，瀏覽器直接回退，找不到了，所以重新寫新的，以免出現上述情況 (接上) 三、Negative Sampling 模型——Skip-gram

Tensorflow學習筆記（五）——結構化模型及Skip-gram模型的實現

一、結構化模型結構化我們的模型，可以方便我們Debug和良好的視覺化。一般我們的模型都是由以下兩步構成，第一步是構建計算圖，第二步是執行計算圖。 Assemble Graph Define placeholders for Inp

數據結構學習筆記（五）樹的創建和遍歷

一個後序遍歷 for -1 堆棧 nor ext cnblogs 復制創建（先序創建和根據先序和中序進行創建）和遍歷（先序遍歷、中序遍歷、後序遍歷、非遞歸堆棧遍歷、層次遍歷）：　　 package tree; public class XianCreateTree

最優化學習筆記（五）牛頓法及擬牛頓法

div size -a article fonts alt water src jsb 最優化學習筆記（五）牛頓法及擬牛頓法

javascript學習筆記（五）：異常捕獲和事件處理

log 類型按鈕輸入 button lan yellow logs 代碼異常捕獲 Try{ 　　發生異常的代碼塊 }catch(err){ 　　異常信息處理 } 1 <!DOCTYPE html> 2 <html> 3 <head

Spring 學習筆記（五）—— Bean之間的關系、作用域、自動裝配

mar byname pps etc 有時 sysman 對象實例構造 encoding 繼承　　Spring提供了配置信息的繼承機制，可以通過為<bean>元素指定parent值重用已有的<bean>元素的配置信息。 <?xml

Go語言學習筆記（五）文件操作

see 大小 unix rdo 筆記不能 hid code lag 加 Golang學習 QQ群共同學習進步成家立業工作 ^-^ 群號：96933959 文件讀取 os.File 封裝了文件相關操作 type File File代表一個打開的文件對象。

Unity3D之Mecanim動畫系統學習筆記（五）：Animator Controller

浮點 key 發現菜單融合 stat mon 好的 project 簡介 Animator Controller在Unity中是作為一種單獨的配置文件存在的文件類型，其後綴為controller，Animator Controller包含了以下幾種功能：可以對

Python學習筆記（五）OOP

默認 tro acl 引入支持不同 post set 成像模塊使用模塊import 模塊名。有的僅僅導入了某個模塊的一個類或者函數，使用from 模塊名 import 函數或類名實現。為了避免模塊名沖突。Python引入了按文件夾來組織模塊的方

如鵬網學習筆記（五）MySql基礎

修改列記錄 tex 令行金額升序查詢自動遞增 col MySQL基礎一、數據庫概念　　1，網友裝備信息、論壇帖子信息、QQ好友關系信息、學籍管理系統中的學生信息等都要“持久化”的保存到一個地方，　　　　如果通過IO寫到文件中，那麽會非常麻煩，而且不利於多人共享數

docker學習筆記（五）——Docker常用命令總結

docker學習筆記 docker常用命令總結 1. 開啟/停止/重啟container（start/stop/restart）容器可以通過run新建一個來運行，也可以重新start已經停止的container，但start不能夠再指定容器啟動時運行的指令，因為docker只能有一個前臺進程。容器st

jQuery學習筆記（五）

加載 complete += ron 序列 border () ajaxstart 單選 jQuery與Ajax的應用 Ajax的優勢和不足 Ajax的優勢 a）不需要插件支持 b）優秀的用戶體驗 c）提高Web程序的性能 d）減輕服務器和寬帶的負擔 Ajax的不

流暢的python和cookbook學習筆記（五）

pytho col () 學習 util 學習筆記取出 minute python 1.隨機選擇　　python中生成隨機數使用random模塊。　　1.從序列中隨機挑選元素，使用random.choice() >>> import random

Oracle 學習筆記（五）

采樣 flash 全表掃描 group space 表空間 manage 授權個數 --表空間,auto: 自動管理， manual: 手動管理 create tablespace tsp1 datafile ‘D:\ORACLE\ORADATA\O10\tsp1.

Hibernate學習筆記（五） --- 創建基於中間關聯表的多對多映射關系

mys 兩個 override pac tid 一對多 main ber different 多對多映射是在實際數據庫表關系之間比較常見的一種，仍然以電影為例，一部電影可以有多個演員，一個演員也可以參演多部電影，電影表和演員表之間就是“多對多”的關系針對多對多的映射關系，

Java8學習筆記（五）--Stream API詳解[轉]

有效編程效率實時處理 phaser 綜合 files -- bin 並發模式為什麽要使用StreamStream 作為 Java 8 的一大亮點，它與 java.io 包裏的 InputStream 和 OutputStream 是完全不同的概念。它也不同於 StAX

python學習筆記（五）數值類型和類型轉換

學習系統 oat cal 關於 trac hide sed lin Python中的數值類型有：　　整型，如2，520 　　浮點型，如3.14159，1.5e10 　　布爾類型 True和False e記法：　　e記法即對應數學中的科學記數法 1 >>

操作系統學習筆記（五）頁面置換算法

進入 es2017 問題簡單 .cn 討論相同一位四種操作系統將內存按照頁的進行管理，在需要的時候才把進程相應的部分調入內存。當產生缺頁中斷時，需要選擇一個頁面寫入。如果要換出的頁面在內存中被修改過，變成了“臟”頁面，那就需要先寫會到磁盤。頁面置換算法，就是要選出

Nginx 學習筆記（五）nginx-vod-module 模塊

filename star rec 上啟本地就是 gdb 裸奔 ted nginx-vod-module 一、編譯 ./configure --user=www --group=www --prefix=/usr/local/openresty --with-debu

python學習筆記（五）

推導式 for mod cal pos [] 類名 left 開頭 38、繼承子類繼承父類時，如果不寫init方法，表示繼承父類的init方法。如果寫了init方法，表示重寫父類的init方法。其他方法也是同理。對於變量也是同樣的道理。 class A: def __in

Word2Vec學習筆記（五）——Negative Sampling 模型(續)

三、Negative Sampling 模型——Skip-gram

相關推薦