演算法原理

本文利用self-attention的方式去學習句子的embedding，表示為二維矩陣，而不是一個向量，矩陣中的每一行都表示句子中的不同部分。模型中使用了self-attention機制和一個特殊的regularization term。

假設我們有一個句子S$S$, 包含n$n$個單詞

S=(w1,w2,w3,...,wn)$$S=(w_1,w_2,w_3,...,w_n)$$
每個wi$w_i$都是d$d$維的詞向量，所以S$S$是一個二維的矩陣，形狀為(n,d)。

上圖中的圖(a)是整個模型的流程，圖(b)是計算self-attention的過程。具體的。為了得到單詞之間的相關性，使用雙向LSTM處理這個句子:

ht→=LSTM−→−−−(wt,ht−1−→−)ht←=LSTM←−−−−(wt,ht+1←−−)$$\overrightarrow{h_t}=\overrightarrow{LSTM}(w_t,\overrightarrow{h_{t-1}})\overleftarrow{h_t}=\overleftarrow{LSTM}(w_t,\overleftarrow{h_{t+1}})$$
將ht→$\overrightarrow{h_t}$和ht←$\overleftarrow{h_t}$級連在一起，得到隱狀態(hidden state)ht$h_t$。讓每一個單向LSTM隱狀態單元數是u$u$， 那麼H$H$的形狀就是(n,2u)$(n,2u)$
H=(h1,h2,...,hn)$$H=(h_1,h_2,...,h_n)$$
我們的目的是為了將變長的句子編碼成固定長度的向量或者矩陣。可以使用H$H$中n$n$個LSTM隱向量的線性組合來表示。因此我們引入了self-attention機制。
所謂的self-attention，就是不同的詞有不同的重要性，這個重要性也是根據單詞和句子本身計算得到的。上圖中的圖(b)解釋了self-attention的計算過程. 將整個LSTM的隱狀態作為輸入，輸出權重向量

a$a$
a=softmax(ws2tanh(Ws1HT))$$a=softmax(w_{s2}tanh(W_{s1}{H}^T))$$
其中Ws1$W_{s1}$權重矩陣的形狀是(da,2u)$(d_a,2u)$，ws2$w_{s2}$是長度為da$d_a$的一維向量。因為H$H$的形狀是(n,2u)$(n,2u)$,得到向量a$a$的最終長度為n$n$,因為softmax$softmax$函式可以保證最終和為1，最後將LSTM的隱狀態H$H$和計算得到的a$a$向量加權求和，就可以得到句子的表示m$m$

這種向量表示一般專注於句子的某個方面。為了實現attention的多樣性, 即我們想提取出r$r$個不同的attention，不同的attention方案可以學習到不同側重點的句子表示，可以用如下公式計算：

A=softmax(Ws2<