tf.contrib.seq2seq.BahdanauAttention（）

__init__(
    num_units,
    memory,
    memory_sequence_length=None,
    normalize=False,
    probability_fn=None,
    score_mask_value=None,
    dtype=None,
    name='BahdanauAttention')

有兩種attention模式：

1.Bahdanau attention

現在，對上面的解碼器稍作修改。我們假設時刻t′t′的背景向量為ct′ct′。那麼解碼器在t

′t′時刻的隱含層變數

st′=g(yt′−1,ct′,st′−1)

令編碼器在tt時刻的隱含變數為htht，解碼器在t′t′時刻的背景向量為

ct′=∑t=1Tαt′tht

也就是說，給定解碼器的當前時刻t′t′，我們需要對編碼器中不同時刻tt的隱含層變數求加權平均。而權值也稱注意力權重。它的計算公式是

αt′t=exp(et′t)∑Tk=1exp(et′k)

而et′t∈Ret′t∈R的計算為：

et′t=a(st′−1,ht)

其中函式a有多種設計方法。在Bahanau的論文中，

et′t=v⊤tanh(Wsst′−1+Whht)

其中的v、Ws、Wh和編碼器與解碼器兩個迴圈神經網路中的各個權重和偏移項以及嵌入層引數等都是需要同時學習的模型引數。   

2. 當normalize=True,上面所提到的a模型發生的變化.變化如下：

v = g * v / ||v||

相關推薦