1. 程式人生 > >詞嵌入和網路在NLP中貢獻

詞嵌入和網路在NLP中貢獻

本文解釋如何應用神經網路並整合詞嵌入到基於文字的應用中,還有一些主要暗含的好處。
首先詞嵌入是詞的密集向量表示,其中相似的詞在向量空間中儘可能相似。例如在下圖中,所有大型貓科動物在向量空間中都很相近。詞嵌入表示一種很成功的非監督學習的應用,主要由於他們的泛化能力。構造詞嵌入的方式多種多樣,但大致上一個神經語言模型是在大型語料庫中訓練並且網路的輸出被用來學習詞向量。
這裡寫圖片描述
接下來,我們何才能應用神經網路和詞嵌入在文字資料中呢?這取決於具體任務,儘管一般文字編碼都很相似。給定一段文字,每個向量對應到每次詞然後傳輸到我們稱為的嵌入層中。接著可能為0,1或者更多的隱藏層,最後的輸出代表了給定任務的最終輸出。取決於具體任務,