windows環境下使用wiki中文百科及gensim工具庫訓練詞向量
阿新 • • 發佈：2019-01-22
以前做影象演算法，面對的都是一幅影象、m*n個畫素點，對於詞向量完全沒有概念，在接觸自然語言處理一些演算法後，才知道這個概念，想必做自然語言處理的同學都訓練過詞向量。訓練詞向量的相關文章已經很多，不過由於大家使用的作業系統不同， 每個人的做法可能都不一樣，沒有標準做法，大家使用的工具庫可能有些也是不同的，相信每個人都在尋找最佳的訓練方法。本文主要介紹windows環境下使用python語言，呼叫gensim工具庫訓練詞向量的過程。說了這麼多，那到底什麼是詞向量呢，為啥要訓練這個東東？ 自然語言處理的都是文字，比如要對100個文字的小段文字做分析，而演算法運算需要的輸入是數字，比如y=w*x
+b，不管你是中文漢字還是英文字母，都需要將文字對映成數字才行，對映後的結果就是詞向量了。比如： 
下一步就是分詞前的資料預處理工作，通過上面圖也可以看到，文本里麵包含了很多wiki文件特有的標記及特殊字元，比如<doc>、“”、《》等等，需要依次剔除，當然還有很多繁體字，需要統一轉成簡體字。這裡簡單說一下繁簡轉換，本來打算用opencc，但是發現在純python環境下無法使用，opencc需要依賴一個.so庫。只好用其他庫了，後來我選擇的是hanziconv，效果也不錯的。簡單示例程式碼如下：
下面就可以使用gensim工具庫訓練詞向量了，相比較訓練過程反而簡單了，程式碼量很少，這也得益於gensim工具庫的強大。示例程式碼如下：
整個訓練過程需要用到多個工具庫，每個工具庫安裝及使用都會頗費一些周折，不過按照流程動手做一次，回頭再看就很簡單了。至於詞向量的理論相關知識本文就不做過多介紹了，碼字可以，編輯公式有時感覺好繁瑣。文章最後還是想吐槽csdn，這次改版真彆扭，是為了方便移動端閱讀嗎？可是大家多數都是在工作時，pc端瀏覽csdn的，可能是我的猜測過於武斷。
下載完成後就自動將該壓縮包儲存至wiki_download資料夾內。下載完成後，下一步就是解壓縮並提取文字，可以使用開源工具wiki extractor（https://github.com/attardi/wikiextractor）完成。這一步比較簡單，只需要將該檔案儲存到自己工程目錄下，然後執行命令：size = 0 chunk_size = 1024*1000 req = requests.get("http://dumps.wikimedia.your.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2", stream=True) fwiki = open("wiki_download/zhwiki-latest-pages-articles.xml.bz2", "wb") for chunk in req.iter_content(chunk_size=1024): if chunk: fwiki.write(chunk) size += 1024 if ((size % chunk_size) == 0): print("download finished: " + str(size/1000000) + "M") fwiki.flush() fwiki.close()
cmd = "python wiki_extractor.py -b 1200M -o wiki_download/extracted wiki_download/zhwiki-latest-pages-articles.xml.bz2"
subprocess.call(cmd, shell=True)下一步就是分詞前的資料預處理工作，通過上面圖也可以看到，文本里麵包含了很多wiki文件特有的標記及特殊字元，比如<doc>、“”、《》等等，需要依次剔除，當然還有很多繁體字，需要統一轉成簡體字。這裡簡單說一下繁簡轉換，本來打算用opencc，但是發現在純python環境下無法使用，opencc需要依賴一個.so庫。只好用其他庫了，後來我選擇的是hanziconv，效果也不錯的。簡單示例程式碼如下：
line = HanziConv.toSimplified(line)seg_list = jieba.cut(line, HMM=True)os.remove("wiki_download/extracted/AA/wiki_00")
os.remove("wiki_download/zhwiki-latest-pages-articles.xml.bz2")下面就可以使用gensim工具庫訓練詞向量了，相比較訓練過程反而簡單了，程式碼量很少，這也得益於gensim工具庫的強大。示例程式碼如下：
logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
logging.root.setLevel(level=logging.INFO)
logging.info("running %s" % ' '.join(sys.argv))
model = Word2Vec(LineSentence("corpus/corpus_results.txt"), size=200, window=10, min_count=15, workers=4)
model.save("model/model_gram.bin")
model.wv.save_word2vec_format("model/model_vec.bin", binary=True)model = Word2Vec.load('model/model_gram.bin')
result = model.most_similar("麻辣燙")
for word in result:
print(word.__str__())整個訓練過程需要用到多個工具庫，每個工具庫安裝及使用都會頗費一些周折，不過按照流程動手做一次，回頭再看就很簡單了。至於詞向量的理論相關知識本文就不做過多介紹了，碼字可以，編輯公式有時感覺好繁瑣。文章最後還是想吐槽csdn，這次改版真彆扭，是為了方便移動端閱讀嗎？可是大家多數都是在工作時，pc端瀏覽csdn的，可能是我的猜測過於武斷。