Transformer中的維度變換
input: batch_size * max_sen_len
vocab_matrix dim: vocab_size * embedding_dim
PE(pos,2i)=sin(pos/10000^(2i/embedding_dim))
PE(pos,2i+1)=cos(pos/10000^(2i/embedding_dim))
encoder input embedding x = input token emb + position emb : batch_size * max_sen_len * embedding_dim
對每一句話(句尾</s>)：[ max_sen_len * embedding_dim ]
ENCODER:
input -> dropout ->
(multihead SAN -> dropout -> residual connection -> LN -> FFN -> dropout -> RS connection-> LN) * 6 ->
[batch_size, max_sen_len, embedding_dim]
---- multihead self atten ----
WQ,WK,WV: embedding_dim * embedding_dim,
其中WQ,WK,WV可以切分為多頭WQ_i,Wk_i,WV_i,即第二個維度 = embedding_dim/num_heads=d_k
WQ_i,Wk_i,WV_i: embedding_dim * d_k
q_i,k_i,v_i = x * WQ_i,WK_i,WV_i : max_sen_len * d_k
multihead:
q_i * k_i / srqt(d_k) : max_sen_len * max_sen_len
softmax之前要對q和k做mask，把pad 0的維度置為-inf，這樣softmax之後對應位置權重為0
softmax(q_i * k_i / srqt(d_k) + Mask) * v_i = head_i, 在最後一個維度上做softmax
head_i: max_sen_len * d_k
Multi_head = cat num_heads of head_i = [head_1,head_2,...,head_8]: max_sen_len * embedding_dim
---- add & norm ----
max_sen_len * embedding_dim
----ffn & add & norm ----
ffn = Relu(W_1 * x + b_1) * W_2 +b_2
Relu = max(0,x)
W_1 : embedding_dim * ffn_hidden_size
b_1 : 1 * ffn_hidden_size
W_2 : ffn_hidden_size * embedding_dim
b_2 : 1 * embedding_dim
---- enc out ----
[batch_size, max_sen_len, embedding_dim]
DECODER:
decoder input -> droput ->
(masked multihead self atten -> dropout -> RS connection-> LN ->
multihead self atten -> dropout -> RS connection-> LN ->
FFN -> dropout -> RS connection-> LN) *6 ->
[batch_size, max_sen_len, vocab_size]
decoder input embedding y = input token emb + position emb : batch_size * max_sen_len, embedding_dim
對每一句話y（要新增起始符號<s>） : [ max_sen_len * embedding_dim ]
ENCODER的輸出給每一層DECODER
---- masked multihead self atten ----
上三角矩陣置為-inf
q,k 來自encoder輸出：max_sen_len, embedding_dim
q_i,k_i,v_i = y * WQ_i,WK_i,WV_i : max_sen_len * d_k
multihead:
q_i * k_i / srqt(d_k) : max_sen_len * max_sen_len
softmax(q_i * k_i / srqt(d_k) + Mask) * v_i = head_i : max_sen_len * d_k
Multi_head = cat num_heads of head_i = [head_1,head_2,...,head_8]: max_sen_len * embedding_dim
---- multihead self att ----
維度變換同上
Multi_head : max_sen_len * embedding_dim
---- add & norm ----
max_sen_len * embedding_dim
----ffn & add & norm ----
ffn = Relu(W_1 * y + b_1) * W_2 +b_2
Relu = max(0,y)
W_1 : embedding_dim * ffn_hidden_size
b_1 : 1 * ffn_hidden_size
W_2 : ffn_hidden_size * vocab_size
b_2 : 1 * vocab_size
[batch_size, max_sen_len, vocab_size]
---- dec out ----
[batch_size, max_sen_len, vocab_size]
在最後一維做softmax：vocab_size，得到詞典哭上的概率分佈，輸出最大的概率，與真實標籤進行交叉熵損失的計算，彙總一句話中每個的損失，優化，訓練