Hierarchical Softmax理解

  word2vec是2013年google提出的一個獲取詞向量的演算法包，其中Hierarchical Softmax模型是推導的一個重要步驟，所以本文對其進行梳理，也加深自己的理解。

1、Skip-Gram模型

1.1 Skip-Gram網路結構

  word2vec中有兩個較為重要的網路模型：CBOW，Skip-Gram。其建模方式又有：Negative Sampling（負取樣）、Hierarchical Softmax。在這裡我們選擇Skip-Gram模型，講解Hierarchical Softmax。

          

                          skip-gram 網路示意圖
從圖中可以看出skip-gram中共包含三部分：輸入層、隱藏層、輸出層。
輸入層：只含當前樣本中心詞的詞向量，v(w)ϵRm$v(w)ϵR^m$
隱藏層：其實在Skip-Gram中這個層是多餘的，用公式表達為v(w)→v(w)$v(w)\to v(w)$
輸出層：和CBOW類似，輸出層也是一顆haffman樹，如果計算梯度的時候需要做Hierarchical Softmax。

1.2 梯度下降

Hierarchical Softmax是word2vec中用到的一項關鍵技術，在計算之前，根據需要首先得定義一些符號：
1、

pw$p^w$表示從根節點到詞語w$w$節點路徑
2、lw$l^w$表示pw$p^w$途經節點個數
3、pw1,pw2,pw3...pwlw$p_1^w,p_2^w,p_3^w...p_{l^w}^w$，其中pw1$p_1^w$表示根節點，pwlw$p_{l^w}^w$表示詞語w$w$所對應的節點。
4、dw2,dw3...dwlw$d_2^w,d_3^w...d_{l^w}^w$，代表詞語w$w$所對應的編碼。其中dwj$d_j^w$代表節點pwj$p_j^w$所對應的編碼(根節點不對應任何編碼）。由於是二叉樹，所以dwj$d_j^w$的取值範圍為0和1。
5、θw1,θw2,θw3...θwlw−1${\theta }_1^w,{\theta }_2^w,{\theta }_3^w...{\theta }_{l^w-1}^w$表示pw$p^w$路徑中非葉子節點所對應的詞向量。θwlw

${\theta }_{l^w}^w$表示葉子節點節點所對應的詞向量，即是詞語w$w$所對應的詞向量。
有了這些標記後，藉助網上的一個經典例子講解Hierarchical Softmax。

上圖中詞語w="足球"$w="足球"$，節點號：38，23，9，4，3構成了pw$p^w$, lw$l^w$的值為5，θw1,θw2,θw3,θw4${\theta }_1^w,{\theta }_2^w,{\theta }_3^w,{\theta }_4^w$分別對應路徑中非葉子節點的詞向量。Θw5${\mathrm{\Theta }}_5^w$表示根節點的詞向量。

相關推薦

word2Vec之Hierarchical Softmax理解

Hierarchical Softmax理解   word2vec是2013年google提出的一個獲取詞向量的演算法包，其中Hierarchical Softmax模型是推導的一個重要步驟，所

word2vec原理(二) 基於Hierarchical Softmax的模型

轉自http://www.cnblogs.com/pinard/p/7243513.html 　在word2vec原理(一) CBOW與Skip-Gram模型基礎中，我們講到了使用神經網路的方法來得到詞向量語言模型的原理和一些問題，現在我們開始關注word2vec的語言模型如何改進傳統的神經網路

word2vec 中的數學原理詳解（四）基於 Hierarchical Softmax 的模型

word2vec 是 Google 於 2013 年開源推出的一個用於獲取 word vector 的工具包，它簡單、高效，因此引起了很多人的關注。由於 word2vec 的作者 Tomas

Word2Vec概述與基於Hierarchical Softmax的CBOW和Skip-gram模型公式推導

該文件是我在《Word2Vec_中的數學原理詳解》基礎上做的總結和一些新的描述，增加了程式碼與公式的對照和公式總彙（公式太多，彙總下看起來更方便），可以更加方便的加深對程式碼和公式理解。既然是總結，則一些很基礎的知識我沒有寫到，如果裡面的有些概念不熟悉，也可

SOA 服務架構之簡介及理解

時代 底層原理 需要 松耦合 hit 面向服務 ges 都在 觀察 也許你已經深入其中卻不知，今天我們撥開雲霧見月明，闡明SOA是何方神聖！ SOA 英文：Service-Oriented Architecture，面向服務的架構。 是一種面向通用集成服務的、松耦合的架構

學習OpenCV2——Mat之通道的理解

too arr end line 簡潔 bgr555 push_back channel 公式 本文詳細介紹了opencv中涉及通道的知識，包括圖像類型轉換，通道合成分解，圖像的顯示。 來源：http://blog.csdn.net/GDFSG/article/det

mycat之schema.xml理解

rim name employee doctype bubuko 技術分享 random database mit <?xml version=\"1.0\"?> <!DOCTYPE mycat:schema SYSTEM \"schem

軟件架構之分層架構理解

顯示 變化 設計 分離 領域 消息 對數 原則 數據格式 分層架構特定場景：分層架構是一種很常見的架構模式，它也叫N層架構。分層架構適用於一個集成不同功能的系統，當我們需要把很多不同的代碼集起來的時候，這種模式提供了最合理的結構。能讓我們的代碼有足夠的靈活性去應對需求改變。

團隊作業之個人分工理解

-m 函數 有變 百度 兩個 選擇 img 理解 個人 分工內容 UI界面的制作以及map類的書寫還有所有內容的統籌 About UI 關於UI這方面我選擇的是使用Qt進行編輯，而相關的代碼編寫等還在學習中，而相關的教程是從百度上尋找的一個Qt5的教程。 About map

SQL Server數據恢復準備之TRUNCATE TABLE理解

data 取出 發生 ada ESS completed contact ces zhang 當truncate table發生時，如何進行恢復，相信大部分人都會選擇通過還原備份到truncate table前，然後將數據重新導入正式表中。那麽在SQL Server中是不是

自學C之遞迴理解

一、 理解概念 　　C語言允許一個函式呼叫自身，這種過程被稱為遞迴（Recursion）。程式使用遞迴處理特殊的問題，如階乘、 Ackermann函式，反序等等。實際上，如果不考慮執行時記憶體的開消，任何使用賦值語句、if-else和while結構的函 數都可以用遞迴方式重寫。

css之border-radius css3之border-radius理解

  css3之border-radius理解       　　在日常專案過程中，border-radius這個屬性算是非常常用的屬性之一了，通過設定元素的border-radius值，可以輕鬆給元素設定圓角邊框，甚至實現繪製圓、半圓、四分之

資料結構之－深入理解紅黑樹

概述 本文將會透徹理解什麼是紅黑樹，有什麼特點、優點與缺點，與其它樹結構（二叉查詢樹、平衡二叉樹、2-3-4樹）有什麼區別和聯絡。寫作本文的目的旨在加深自己的理解，文中許多內容參考了網路上的文章並根據自己的理解進行了整理。 第一部分：什麼是紅黑樹 紅黑樹（英語：Red–black tre

計算機網路之我見-通俗理解計算機網路（八）

本篇講解DNS域名解析服務 （DNS理解起來說難也難，說簡單其實也簡單，只要類比一下Linux的虛擬檔案系統還有掛載mount的概念就會很容易理解DNS了，DNS和分散式的檔案系統NFS理念上有些相似之處） 講DNS之前先講一下linux 虛擬檔案系統的概念(有助於理解DNS和域名組成結

計算機網路之我見-通俗理解計算機網路（七）

本篇主要講解廣播、組播和IGMP協議(寫的比較倉促，質量不好~) 一、廣播 1 廣播的分類 廣播分為本地受限廣播和子網廣播 本地受限廣播的IP地址為255.255.255.255,只能在傳送主機所在的同一網段內進行傳播 子網廣播的IP地址為“網路號+主機號位數全為1”的地址，

計算機網路之我見-通俗理解計算機網路（六）

本篇講解UDP協議 一、UDP協議的組成格式 # UDP協議格式比較簡單，主要由協議頭和協議體構成 # 協議頭由源埠號、目的埠號、校驗和、和包體長度欄位組成 # UDP協議資料包由IP資料包承載，IP資料包頭有兩位元組長度的包體欄位的限制，包體最大長度為65535位元組，所以理論

Android MVP 實踐之路（理解篇）

一.簡單介紹下MVP 1.什麼是mvp？ 簡稱：MVP 全稱：Model-View-Presenter ；MVP 是從經典的模式MVC演變而來，它們的基本思想有相通的地方：Controller/Presenter負責邏輯的處理，Model提供資料，View負責顯示。 2.mv

Redis---API之集合的理解與使用

集合結構：如果集合中已經存在某個value，則會失敗，srem key music 可以直接將集合某個元素刪除。      集合間的操作：     集合特點：無序（不能通過下標操作），無重複，集合間操作。

Redis---API之列表的理解與使用

列表結構：value其實是一個有序的佇列。        兩邊 插入元素：              

Redis---API之字串的理解與使用

1.字串：    字串鍵值結構：               使用場景：快取，計數器，分散式鎖 簡單命令：   &nb