知識圖譜-遠端監督關係提取
阿新 • • 發佈：2018-11-04
1. 前言
今天介紹一片2017年的論文《Distant Supervision for Relation Extraction with Sentence-level Attention and Entity Deions》，這篇論文主要是介紹通過句子層面的注意力和實體知識來提高遠端監督抽取關係的準確度。
2. 原理介紹
關係抽取的遠端監督方法通過知識庫與非結構化文字對其的方式，自動標註資料，解決人工標註的問題。但是，現有方法存在無法選擇有效的句子、缺少實體知識的缺陷。
- 無法選擇有效的句子是指模型無法判斷關係例項對應的句子集（bag）中哪個句子是與關係相關的，在建模時能會將不是表達某種關係的句子當做表達這種關係的句子，或者將表達某種關係的句子當做不表達這種關係的句子，從而引入噪聲資料。
- 缺少實體知識，例如“[Nevada] then sanctioned the sport , and the U.F.C. held its first show in [Las Vegas] in September 2001. ”如果不知道 Nevada 和 Las Vegas 是兩座城市，則很難判斷他們知識是地理位置上的包含關係。
論文的主要方法分為三部分：句子特徵提取、實體表示和bag特徵提取。
2.1 句子特徵提取
句子特徵提取結構如下：
- 使用詞向量和位置向量相連線作為單詞表示，句子的詞表示序列作為模型的輸入；
- 使用卷積神經網路對輸入層提取特徵，然後Piecewise Max-pooling，形成句子的特徵表示。
- Piecewise Max-pooling：傳統的max-pooling的作用是提取最重要的特徵，而Piecewise Max-pooling是把向量分為幾段，然後分別提取每段的max特徵，方便捕捉更多的特徵資訊，給後面微調提供支援。
2.2 實體表示
實體表示在詞向量的基礎上，使用實體描述資訊對向量表示進行調整，形成最終的實體向量表示。最終的實體向量 = 實體表示詞向量 + 實體描述資訊
模型主要思想是，使用CNN對實體的描述資訊進行特徵提取，得到的特徵向量作為實體的特徵表示，模型的訓練目標是使得實體的詞向量表示和從描述資訊得到的實體特徵表示儘可能接近。
2.3 bag特徵提取
bag特徵提取模型的關鍵在句子權重學習，在得到bag中每個句子的權重後，對bag中所有句子的特徵向量進行加權求和，得到bag的特徵向量表示。
bag特徵提取模型如下圖：
模型中用到了類似TransE的實體關係表示的思想：\(e_1+r=e_2\)。使用\(r=e_2-e_1\)作為實體間關係資訊的表達，與句子特徵向量相拼接，進行後續的權重學習。
- 使用bag中的所有句子的特徵向量表示，結合\(r=e_2-e_1\)方式得到的關係表示，作為模型的輸入。
- 利用attention機制學習權重矩陣，得到每個句子的權重。
- 對句子進行加權求和，得到bag的最終表示。
3. 總結
這篇論文在當時提時是SOTA的表現。總結下論文的主要內容。
- 引入句子層面的注意力模型來選擇一個bag中的多個有用的句子，從而充分利用bag中的有用資訊。
- 使用實體描述來為關係預測和實體表達提供背景資訊。
（歡迎轉載，轉載請註明出處。歡迎溝通交流： [email protected]）