torch.nn.Embedding

在pytorch裡面實現word embedding是通過一個函式來實現的:nn.Embedding

import torch

def look_up():
    word_to_ix={'天':0,"地":1}
    lookup_tensor = torch.tensor([word_to_ix['地']],dtype=torch.long)
    embeds=torch.nn.Embedding(2,10)
    print(lookup_tensor.item())
    hello_embed=embeds(lookup_tensor)
    print(hello_embed)

if __name__ == '__main__':
    look_up()
 

這就是我們輸出的“天”這個詞的word embedding，程式碼會輸出如下內容，接下來我們解析一下程式碼：

1
tensor([[-0.4903, -2.0984, -0.0904,  0.4799,  0.4349,  0.0862, -0.3838,  0.0440,
          0.5519,  0.7626]], grad_fn=<EmbeddingBackward>)

首先我們需要word_to_ix = {'天': 0, '地': 1}，每個詞語我們需要用一個數字去表示他，這樣我們需要hello的時候，就用0來表示它。

接著就是word embedding的定義nn.Embedding(2, 5)

關於nn.Embedding（）感覺就是比直接one hot 好一點，如果想要提升精度，肯定在word Embedding這塊要使用 bert如今更主流的模型進行預訓練。