A Frustratingly Easy Approach for Entity and Relation Extraction

作者：Zexuan Zhong Danqi Chen.NAACL 2021.

目錄

• 簡介
• 方法
• 想法

1 簡介

本文仍然是做實體關係聯合抽取任務，不同於近幾年大量的通過對兩個子任務聯合建模或聯合解碼、共享引數等聯合處理方法，本文采用聯合抽取中的管道方法即分別單獨訓練兩個子任務，效果在三個公開資料集ACE04, ACE05 and SciERC比其他的聯合模型還要好一些，新sota。

近幾年的工作大多證明聯合模型在實體關係聯合抽取任務確實有很不錯的效果，貌似要比傳統pipeline方法強，理由比如兩子任務之間的互動即實體關係之間、多實體之間、關係關係之間等。那麼本文為什麼用了pipeline後卻強於一眾聯合模型方法呢，與之前的pipeline方法相比有哪些不同？

主要創新點我覺得在於 a) relation model的輸入中加入了markers識別符號--標識subject、object實體span以及含有重要的實體型別資訊，entity span和entity type是本文中作者十分重視的一個點。b) 加入了cross-sentence context資訊效果又提升了一些。

2 方法

下圖為方法的示意圖。

具體細節詳見參考【2】【3】寫的挺好的，我就不贅述了，本身有的細節沒看懂。

參考【4】裡的slides/slides.pdf 幻燈片檔案圖更多一些可能會幫助理解吧。

3 想法

• span pairs或relation的表示是subject和object的marker識別符號的head token的拼接，有沒有其他方案比如(Livio et al., 2019\(^{[5]}\)
  )裡的選取方式和markers識別符號的設定方式。
• 本文采用了一種很簡單的加入cross-sentence context的方式--一個document構成的序列其中一個個語句作為輸入，採用文字輸入的左右兩側上下文中分別滑動 (W−n)/2 個words，n 為文字長度，W 為固定視窗大小。有沒有其他結合跨語句上下文資訊的方法，document-level RE？
• 實體span和實體型別資訊對於關係抽取很重要，而且像本文這樣插入markers直接使用entity span和type資訊相比加個輔助Loss間接使用兩者資訊要好，且兩者由於可能需要的特徵資訊不同，簡單的share聯合聯合訓練反而會造成效能下降。

ToDo

• document-level RE
• 沒完全看懂有些細節不太懂，看看程式碼

參考

【1】Zexuan Zhong Danqi Chen.A Frustratingly Easy Approach for Entity and Relation Extraction.NAACL 2021.

【2】論文筆記 – A Frustratingly Easy Approach for Joint Entity and Relation Extraction.https://ivenwang.com/2020/12/02/pipelinejoineere/.

【3】反直覺！陳丹琦用pipeline方式重新整理關係抽取SOTA.https://zhuanlan.zhihu.com/p/274938894.

【4】princeton-nlp/PURE(offical).https://github.com/princeton-nlp/PURE.

【5】Livio Baldini Soares.Nicholas FitzGerald.Jeffrey Ling∗.Tom Kwiatkowski.Matching the Blanks: Distributional Similarity for Relation Learning.ACL 2019.