Position-aware Attention and Supervised Data Improve Slot Filling

作者：Yuhao Zhang et al., EMNLP 2017.

簡介

模型很簡單就是postion-aware attention over LSTM。

有兩個點挺有意思的一個是position-aware的attention的設計，另一個是實驗中的entity masking的使用。

下圖為position-aware 簡化，編碼用的lstm。

具體位置的計算如下公式：

以subject 實體為例，s=subject，\(p_i^s\)表示當前位置i的詞距離subject實體距離，之後根據position embedding matrix(隨機初始化的)查表得到position embedding。

得分\(u_i\)使用位置\(p_i^s,p_i^o\)以及\(q=h_n\)與每個hidden state \(h_j\)計算得到，這裡加了個lstm最後的輸出\(h_n\)為了加入整個句子的語義資訊吧，\(\mathbf{z}\)就是attention聚合後的句子的表示。

實驗中還用了個Entity masking，把原始句子中每個subject實體用特殊符號\(<NER>SUBJ\)代替，其中\(<NER>\)為作者自己構建的資料集中提供的主語對應的NER的型別，對於object實體也這麼處理，這樣處理有兩點好處，(1)能夠給模型提供實體型別的資訊，(2)防止模型對某一個特定的實體過擬合，我認為這種加masking處理後泛化能力也會好一些即預測從沒見過的實體關係時。

其他的沒細看，感興趣的可以看看原文。

參考

【1】Yuhao Zhang, Victor Zhong, Danqi Chen, Gabor Angeli, Christopher D. Manning.Position-aware Attention and Supervised Data Improve Slot Filling.EMNLP 2017.