之後在文字分類的任務中也用上Attention機制，這篇部落格主要介紹Attention機制在文字分類任務上的作用，與seq2seq中使用的可能會略有不同， 主要參考的論文是Hierarchical Attention Networks for Document Classification。這裡的層次Attention網路並不是只含有Attention機制的網路，而是在雙向RNN的輸出後加了Attention機制，層次表現在對於較長文字的分類，先將詞向量通過RNN+Attention表示為句子向量，再將句子向量通過RNN+Attention表示為文件向量。兩部分的Attention機制是一樣的，這篇部落格就不重複說明了。

一、Attention 的作用

在RNN的文字分類模型中，可以把RNN看成一個encoder，將需要被分類的文字表示為一個dense vector，再使用全連線層與softmax輸出各類別的概率。

在具體的文字的表示上，可以將RNN最後一個時刻的輸出作為文字的表示，也可以綜合考慮每個時刻的的輸出，將它們合併為一個向量。在tagging與classication的任務中常用雙向RNN(下文寫作BIRNN)，每個時刻的輸出向量可以理解為這個時刻的輸入詞在上下文的語境中對當前任務的一個貢獻。BIRNN如下圖所示

根據人類的閱讀習慣進行思考，我們在閱讀的時候，注意力通常不會平均分配在文字中的每個詞。再回到上面的文字表示，如果直接將每個時刻的輸出向量相加再平均，就等於認為每個輸入詞對於文字表示的貢獻是相等的，但實際情況往往不是這樣，比如在情感分析中，文字中地名、人名這些詞應該佔有更小的權重，而情感類詞彙應該享有更大的權重。

所以在合併這些輸出向量時，希望可以將注意力集中在那些對當前任務更重要的向量上。也就是給他們都分配一個權值，將所有的輸出向量加權平均。假設輸出向量為ht，權值為αt，則合併後的表示為

上文所說的為BIRNN的每個輸出向量分配不同權值，使得模型可以將注意力集中在重點幾個詞，降低其他無關詞的作用的機制就是Attention機制。使用了Attention機制可以使得文字表示的結果在當前的任務中更合理。

使用Attention的兩個好處：

1. 可以更好的表徵文字，使訓練出的模型具有更好的表現（更高的精度）。
2. 為模型提供了更好的解釋性，如直觀的看出在文字分類中哪些詞或句子更重要， 如果訓練出的模型不理想，根據這些權值分析badcase也非常方便。

Hierarchical Attention Networks for Document Classification 這篇論文中提到他們的模型可以學習到詞的上下文資訊，並且分配與上下文相關的詞的權重。我覺得這並不是由於Attention這個機制的作用，而是RNN本身就具有這個能力。

二、Attention 原理

上文說到需要給BIRNN的每個輸出分配權重，如何分配就是Attention的原理，用一張結構圖加三個公式應該就可以解釋清楚了。

公式(1)中的Ww與bw為Attention的權重與bias，在實現的時候也要設定attention的size，不過也可以簡單的令它們等於BIRNN的輸出向量的size。

公式(2)中的uw也是需要設定的權重，公式(2)其實也就是對所有uTtuw結果的softmax。

公式(3)即是將計算出的αt 作為各時刻輸出的權值，對它們加權求和表示為一個向量。

三、程式碼實現

程式碼中的BIRNN使用的是LSTM（層次Attention網路那篇論文使用的是GRU）

程式碼放在github了，裡面註釋寫了很多，這裡就不重複了。程式碼是使用tensorflow 1.0.0實現的。