A Novel Global Feature-Oriented Relational Triple Extraction Model based on Table Filling

作者：Ren et al., EMNLP 2021.

目錄

• 簡介
• 方法

1 簡介

Table Filling方法做sentence-level實體關係聯合抽取，不同於之前的table filling方法大多侷限於local features即使用單一的一對token來提取特徵填充表格。作者認為這麼做並沒有完全利用table filling這種方法的能力，因為其忽略了全域性的關係、token pairs之間的關聯資訊。因此，本文主要改進點就是加入了關係和token pairs這兩個全域性特徵資訊以及採用了一種新的標註方案輔助，那麼新標註方案也就隨之需要適合自己的解碼演算法了。

2 方法

如圖2為模型結構，主要分為四個模組：encoder(編碼，得到初步的token特徵)、TFG(抽取token pairs-based的tabel features即每個cell初步填充內容)、GFM(基於上一步的token pairs特徵挖掘我們想要的兩個全域性特徵 )、TG(解碼輸出最終結果即抽取的三元組)。其中，TFG和GFM這兩步要不斷迴圈迭代很多次一遍不斷的精煉table特徵。

Encoder Module

輸入序列過BERT得到編碼序列\(H \in \mathbb{R}^{n \times d_h}\), 之後餵給兩個前饋神經網路FFNN(\(W_{1/2} \in R_{d_h \times d_h}\)

TFG Module

初步填表，以\(H_s,H_o\)作為輸入經過線性非線性變換得到位置(i,j)的cell填充。其中\(t\)表示第t輪迭代，\(r\)表示當前關係(每個關係一個table表取抽取此序列當前關係的所有三元組，這樣能夠解決entity pair型別的關係重疊)。

GFM Module

利用上一步的table features挖掘我們像樣的全域性特徵，主要分三步進行。

• step1: 聚合所有table特徵。假設當前第t輪迭代，每個r對應一個table，我們將所有table對應位置特徵拼接得到一個統一的table feature\(TF^{(t)}\)
  , 以它作為輸入分別做兩次maxpool線性變換，分別得到subjcet和object的全域性特徵。其中\(W_{s/o} \in \mathbb{R}^{(|L| \times |R|) \times d_h}\), L表示L種標籤，R表示關係型別，d表示每個token維度，n為整個sequence的長度。

• step2: 分別用self-attention、attention抽取relation和token pairs的全域性特徵資訊。attention獲取token pairs特徵資訊Q、K、V分別為如公式4中MutilHeadAtt三個輸入。

• step3: 加了個殘差連線防止迭代類似深層神經網路梯度消失等問題。最後拿到結合了兩個全域性特徵的增強的\(H_s,H_o\)再不斷的重複TFG和GFM精煉table features，即不斷優化table cell的填充。

TG Module

解碼，先根據table features做softmax如公式6得到每個token pair的標籤，最終table cell填充的就是每個token pairs的label，再經過解碼得到三元組。

解碼演算法有點複雜，確實挺厲害的，但這種精心設計的解碼有點繁瑣啊，我這這麼菜也不太好用在其他地方或是改動啊，看看得了知道大致幹嘛就行了。

ToDO

• table filling這類方法解聯合抽取問題還是值得好好看看的，把Two better那篇程式碼看看？

參考

[1] Feiliang Ren†,∗, Longhui Zhang†, Shujuan Yin, Xiaofeng Zhao, Shilei Liu Bochao Li, Yaduo Liu.A Novel Global Feature-Oriented Relational Triple Extraction Model based on Table Filling.EMNLP 2021.