1結構介紹

是一個seq2seq的任務模型，將輸入的時間序列轉化為輸出的時間序列。
有encoder和decoder兩個模塊，分別用於編碼和解碼，結合時是將編碼的最後一個輸出 當做 解碼的第一個模塊的輸入
encoder模塊有兩個操作： self-attention、feed-forward
decoder模塊有三個操作：self-attention、encoder-decoder-attention、feed-forward
兩種attention用的都是 multi-head-attention

2 enbedding

enbedding 操作不是簡單地enbedding，而是加入了位置信息的enbedding,稱之為position-enbedding,

3.multi-head-attention

3.1 attention 簡單回顧

attention 理解為計算相關程度；
進行如下表述：表示為將query 和k-v pairs 映射到輸出上其中query,每個k，每個v都是向量，輸出是V中所有v的加權，其中權重是由q和每個k計算出來的，計算方法分為三步：
（1）計算比較q和k的相似度，用f來表示：

（2）將得到的相似度進行softmax歸一化

（3）針對計算出來的權重，對所有的v進行加權求和，得到attention向量

論文閱讀-attention-is-all-you-need