GloVe model

單詞表示模型：GloVe，用於全域性向量，全域性語料的統計資訊直接由模型獲得。

符號

$X$：詞共現矩陣
Xij $X_i$

j $X_{ij}$：單詞$j$出現在單詞$i$的上下文中的次數。
$X_i=\sum_kX_{ik}$：所有出現在單詞$i$的上下文中的單詞次數。
$P_{ij}=p(j|i)=\frac{X_{ij}}{X_i}$ ：單詞$j$出現在單詞$i$的上下文中的概率。

舉例：

通過觀察圖中的比率（第三行）可以看出，當結果大於1時，單詞$k$與ice更相關，當結果小於1時，單詞$k$與steam更相關。

上述論點表明，單詞向量學習的適當起點應該是共現概率的比率而不是概率本身。其中，比率$P_{ik}/P_{jk}$取決於單詞$i$、$j$、$k$，我們採用最通用的模型形式：

$$F(w_i,w_j,\tilde{w}_k)=\frac{P_{ik}}{P_{jk}}\tag{1}$$

其中，$w\in\mathbb{R}$表示單詞向量，$\tilde{w}\in\mathbb{R}^d$表示單個的上下文詞向量。
對於F的選擇，由於向量空間本質上是線性結構，因此最自然的方法是使用向量差異。通過僅考慮兩個目標詞的差異可以修改為：

$$F(w_i-w_j,\tilde{w}_k)=\frac{P_{ik}}{P_{jk}}\tag{2}$$

採用引數點積來防止$F$函式以不和需要的方式進行向量維度混合：

$$F((w_i-w_j)^T\tilde{w}_k)=\frac{P_{ik}}{P_{jk}}\tag{3}$$

對於單詞共現矩陣，單詞和上下文單詞之間的區別是任意的，我們可以自由地交換這兩個角色。我們的最終模型在這種重新標記下應該是不變的，因此我們通過兩步驟來回復對稱性。
首先要求$F$函式在$(\mathbb{R},+)$和$(\mathbb{R},×)$之間應該是同態的。

$$F((w_i-w_j)^T\tilde{w}_k)=\frac{F(w_i^T\tilde{w}_k)}{F(w_j^T\tilde{w}_k)}\tag{4}$$

F(wTiw~k)=Pik=Xi

相關推薦

【論文閱讀】《GloVe: Global Vectors forWord Representation》

GloVe model 單詞表示模型：GloVe，用於全域性向量，全域性語料的統計資訊直接由模型獲得。 符號 X X X：詞共現矩陣 Xij

【論文閱讀】Siamese Neural Networks for One-shot Image Recognition

 關鍵詞：      one-short learning :  待解決的問題只有少量的標註資料，先驗知識很匱乏，遷移學習就屬於one-short learning的一種 zero-short learning: 這個種情況下完全沒有

【論文閱讀】The Ubuntu Dialogue Corpus

論文題目： The Ubuntu Dialogue Corpus: A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems 語料庫： a. train.csv和論文所述一致。 1,000,000

【論文閱讀】Sequence to Sequence Learning with Neural Networks

看論文時查的知識點 前饋神經網路就是一層的節點只有前面一層作為輸入，並輸出到後面一層，自身之間、與其它層之間都沒有聯絡，由於資料是一層層向前傳播的，因此稱為前饋網路。 BP網路是最常見的一種前饋網路，BP體現在運作機制上，資料輸入後，一層層向前傳播，然後計算損失函式，得到損失函式的殘差

【論文閱讀】韓鬆《Efficient Methods And Hardware For Deep Learning》節選《Learning both Weights and Connections 》

Pruning Deep Neural Networks 本節內容主要來自NIPS 2015論文《Learning both Weights and Connections for Efficient Neural Networks》。 這部分主要介紹如何剪枝網路

【論文閱讀】Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

簡述 看這篇論文，並實現一下這個。（如果有能力實現的話） 實時任意風格轉換（用自適應Instance Normalization） instanceNorm = batchsize=1 的 batchNorm 1 Abstract Gatys et al

【論文閱讀】Clustering Convolutional Kernels to Compress Deep Neural Networks

文章：Clustering Convolutional Kernels to Compress Deep Neural Networks 連結：http://openaccess.thecvf.com/content_ECCV_2018/papers/Sanghyun_Son_Clustering_Kern

【論文閱讀】Between-class Learning for Image Classification

文章：Between-class Learning for Image Classification 連結：https://arxiv.org/pdf/1711.10284.pdf CVPR2018 作者嘗試了將在音訊上的方法用在影象上的，並提出了一種將影象作為波形處理的混合方法（作者認為圖形波長融

【論文閱讀】Deep Adversarial Subspace Clustering

導讀： 　　本文為CVPR2018論文《Deep Adversarial Subspace Clustering》的閱讀總結。目的是做聚類，方法是DASC=DSC（Deep Subspace Clustering）+GAN（Generative Adversarial Networks）。本文從以下四個方面來

【論文閱讀】：Embedding-based News Recommendation for Millions of Users

非常實用性的一個推薦新聞的模型 摘要： 新聞推薦非常重要，但是傳統的基於使用者id的協同過濾和低秩分解推薦演算法不完全適用於新聞推薦，因為新聞類文章過期的太快了 基於單詞的方法效能不錯，但是有處理同義詞和定義使用者需求的問題 因此本文提出一種基於嵌入式的演算法，基於一種去噪自編碼器的

【論文閱讀】Deep Mixture of Diverse Experts for Large-Scale Visual Recognition

導讀： 　　本文為論文《Deep Mixture of Diverse Experts for Large-Scale Visual Recognition》的閱讀總結。目的是做大規模影象分類（>1000類），方法是混合多個小深度網路實現更多類的分類。本文從以下五個方面來對論文做個簡要整理： 　　背

【論文閱讀】Learning Dual Convolutional Neural Networks for Low-Level Vision

論文閱讀（【CVPR2018】Jinshan Pan - Learning Dual Convolutional Neural Networks for Low-Level Vision）      本文針對低層視覺問題，提出了一般性的用於解決低層視覺問題的對偶卷積神經網路。作者認為，低層視覺問題，如常見的有

【論文閱讀】Slot-Gated Modeling for Joint Slot Filling and Intent Prediction

文章目錄 論文部分 Abstract Introduction Proposed Approach 2.1 基於注意力機制的RNN模型 2.2 實驗部

【論文閱讀】《Delta TFIDF：An Improved Feature Space for Sentiment Analysis》（論文及實驗）

Delta TFIDF 論文中提出了一種在文字分類之前給單詞加權的計算方法，並使用SVM對三個資料集進行情感分析。 方法 在詞袋模型中，每一個單詞或者n-gram字都與一個值相關聯。這些值通常都是文件中的數字。有時這些值會根據其對應單詞在文件中的統計特徵來進一步加權。相反，我

【論文閱讀】Advances in Pre-Training Distributed Word Representations

《Advances in Pre-Training Distributed Word Representations》 Tomas Mikolov, Edouard Grave, Piotr Bojanowski, Christian Puhrsch, Armand Joulin,2

【論文閱讀】Author2Vec: Learning Author Representations by Combining Content and Link Information

《Author2Vec: Learning Author Representations by Combining Content and Link Information》 Ganesh J, Ganguly S, Gupta M, et al. 2016. Abstract

【論文閱讀】A Correlated Topic Model Using Word Embeddings

《A Correlated Topic Model Using Word Embeddings》 Abstract 傳統的主題模型能夠通過用邏輯正態分佈代替先驗的Dirichlet來捕捉潛在主題之間的相關結構。word embeddings 已經被證明能夠捕捉語義規律，因此語義相

【論文閱讀】Topical Word Embeddings

《Topical Word Embeddings》 Liu Y, Liu Z, Chua T S, et al. 2015. Abstract 大多數詞嵌入模型通常使用單個向量來表示每個單詞，因此這些模型無法區分同音異義和的一詞多義的情況。為了增強判別性，我們採用潛在的主題模

【論文閱讀】POI2Vec: Geographical Latent Representation for Predicting Future Visitors

《POI2Vec: Geographical Latent Representation for Predicting Future Visitors》 Shanshan Feng, Gao Cong, Bo An, Yeow Meng Chee. 2017,AAAI Abstr

【論文閱讀】A Neural Probabilistic Language Model

《A Neural Probabilistic Language Model》 Yoshua Bengio 2003 Abstract 統計語言模型建模（Statistical Language Modeling）目標是學習一種語言中單詞序列的聯合概率函式。維度限制會導致：模