1、基於神經網路的詞分佈表示，將單詞對映到低維連續向量

詞嵌入編碼了語義空間中的線性關係，向量不同部分表示不同的語義。比如“國王-往後”與“男-女”的類比反映中語義空間的線性關係。

2、相似詞對映到了相似方向，語義相似性被編碼

近義詞或者“相似”詞的鄰居詞分佈類似，同樣兩個詞鄰居詞分佈類似可以推出兩個詞語義相近。比如 “貓 寵物 主人 餵食 蹭 喵 ” 和 “狗 寵物 主人 餵食 咬 汪”這兩組詞可以推出 v(“貓”)≈v(“狗”)。

3、（優點的角度）

（1）對比one-hot高維稀疏向量，embedding維度低，連續向量，方便模型訓練；
（2）一個向量可以編碼一詞多義（歧義需要另外處理）；
（3）天然有聚類後的效果；
（4）罕見詞也可以學到不錯的表示。

附錄：淺析word2vec

連續詞袋模型Continous Bag of Words Model(CBOW)和Skip-Gram Model。CBOW根據某個詞前面的C個詞或者前後C個連續的詞，來計算某個詞出現的概率。Skip-Gram Model相反，是根據某個詞，然後分別計算它前後出現某幾個詞的各個概率。以“我愛北京天安門”這句話為例。假設我們現在關注的詞是“愛”，C＝2時它的上下文分別是“我”，“北京天安門”。CBOW模型就是把“我” “北京天安門” 的one hot表示方式作為輸入，也就是C個1xV的向量，分別跟同一個VxN的大小的係數矩陣W1相乘得到C個1xN的隱藏層hidden layer，然後C個取平均所以只算一個隱藏層。這個過程也被稱為線性啟用函式。然後再跟另一個NxV大小的係數矩陣W2相乘得到1xV的輸出層，這個輸出層每個元素代表的就是詞庫裡每個詞的事後概率。輸出層需要跟ground truth也就是“愛”的one hot形式做比較計算loss。這裡需要注意的就是V通常是一個很大的數比如幾百萬，計算起來相當費時間，除了“愛”那個位置的元素肯定要算在loss裡面，word2vec就用基於huffman編碼的Hierarchical softmax篩選掉了一部分不可能的詞，然後又用nagetive samping再去掉了一些負樣本的詞所以時間複雜度就從O(V)變成了O(logV)。Skip gram訓練過程類似，只不過輸入輸出剛好相反。