1. 程式人生 > >jieba分詞以及word2vec詞語相似度

jieba分詞以及word2vec詞語相似度

自然語言處理 中文分詞

技術分享圖片

技術分享圖片
去除 標點符號,

下一步 開始文本相似度計算:

參考文章 :
http://www.jb51.net/article/139690.htm

from gensim.models import Word2Vec 
model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
參數解釋:
1.sg=1是skip-gram算法,對低頻詞敏感;默認sg=0為CBOW算法。
2.size是輸出詞向量的維數,值太小會導致詞映射因為沖突而影響結果,值太大則會耗內存並使算法計算變慢,一般值取為100到200之間。
3.window是句子中當前詞與目標詞之間的最大距離,3表示在目標詞前看3-b個詞,後面看b個詞(b在0-3之間隨機)。
4.min_count是對詞進行過濾,頻率小於min-count的單詞則會被忽視,默認值為5。
5.negative和sample可根據訓練結果進行微調,sample表示更高頻率的詞被隨機下采樣到所設置的閾值,默認值為1e-3。
6.hs=1表示層級softmax將會被使用,默認hs=0且negative不為0,則負采樣將會被選擇使用。
7.workers控制訓練的並行,此參數只有在安裝了Cpython後才有效,否則只能使用單核。

from gensim.models import word2vec

jieba分詞以及word2vec詞語相似度