1. 程式人生 > >劉挺 | 從知識圖譜到事理圖譜

劉挺 | 從知識圖譜到事理圖譜

本文轉載自 AI科技評論

在“知識圖譜預見社交媒體”的技術分論壇上,哈爾濱工業大學劉挺教授做了題為“從知識圖譜到事理圖譜”的精彩報告。會後AI科技評論徵得劉挺教授的同意,回顧和整理了本次報告的精彩內容。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

劉挺教授

劉挺教授的報告內容分為四部分:

  • 知識圖譜與《大詞林》

  • 事理圖譜概念的提出

  • 事理圖譜國內外相關工作

  • 哈工大在事理圖譜方面的探索

知識圖譜與《大詞林》

知識圖譜最早是通過人工蒐集資料和標註資料來構建的,隨著需求的多樣化和精細化(例如,需要獲得“XX疾病是否可以被XX藥物治療”,“XX人和XX人之間是否是敵人/朋友”等資訊),人工構建的知識圖譜越發難以滿足使用者多種多樣的需求。基於此,如何由機器去自動構建大規模的知識圖譜已經發展成為熱門的研究點。

知識圖譜,是基於二元關係的知識庫,用以描述現實世界中的實體(或概念,概念是實體的抽象,例如“水果”即為“蘋果”的概念)及其相互關係,其基本組成單位是『實體-關係-實體』三元組(triplet),實體之間通過關係相互聯結,構成網狀結構。通過知識圖譜,可以支援使用者按主題而不是按字串檢索,從而真正地實現在語義層面上進行資訊檢索。基於知識圖譜的搜尋引擎,能夠直接向用戶反饋結構化的知識,使用者不必瀏覽大量網頁,就可以找到自己想要獲得的知識。

640?wx_fmt=png

封閉域知識圖譜和開放域知識圖譜各有優劣

2014年年末,哈工大正式釋出《大詞林》。現在只需在瀏覽器中鍵入www.bigcilin.com,即可訪問《大詞林》。《大詞林》是一種自動從網路中爬取實體及實體的概念以形成基於上下位關係的通用知識圖譜。這意味著,如果使用者輸入的詞語不被《大詞林》所包含,《大詞林》即會實時地到網際網路上去搜索,以自動挖掘該詞語的上位概念詞,並將這些上位概念詞整理為層次結構。比如輸入“林肯”,《大詞林》就會根據“林肯”在網路中出現的語義資訊,自動挖掘出“林肯”所具有的多個概念,例如“汽車”、“總統”、“交通工具”、“領袖”等,然後再根據這些概念的抽象程度,將這些概念刻畫為層次結構。例如“領袖”相對於“總統”更加抽象,在圖中“領袖”的層次就比“總統”更高。

640?wx_fmt=png

上圖左側為《大詞林》層次目錄的一部分,其骨架是《同義詞詞林(擴充套件版)》。《大詞林》選擇《同義詞詞林(擴充套件版)》作為骨架的原因在於:經過反覆的探討,劉挺教授帶領的團隊認為詞彙應具有兩種型別,一種是“實體”與真實的事物相對應,比如具體的人名、地名、機構名;另一種是“概念”,是“實體”的抽象含義,比如“植物”、“水果”等。實體之間具有明顯的橫向關係,而“實體”和“概念”、“概念”和“概念”之間具有明顯的層次關係,因此詞彙之間應具有由橫向關係和縱向關係所形成的網狀結構。基於此,劉挺教授帶領的團隊將《同義詞詞林(擴充套件版)》作為《大詞林》層次(縱向)關係構建的骨架。

640?wx_fmt=png

這裡簡單介紹一下作為《大詞林》的骨架-《同義詞詞林(擴充套件版)》存在的問題。《同義詞詞林》的第一個問題是僅具有固定的5層結構,但面對千萬級乃至億萬級規模多領域、多樣性的詞彙,固定的結構顯然無法對其進行有效描述;第二個問題是《同義詞詞林(擴充套件版)》包含的詞語數目非常有限,且大部分為抽象的概念,其規模不到十萬詞,顯然不適合實際應用。基於此,劉挺教授帶領的團隊決心打破《同義詞詞林(擴充套件版)》的上述限制,從而形成了現在的《大詞林》。首先,《大詞林》的層數是不固定的,其根據詞語的抽象程度自動進行層次化;其次,《大詞林》中包含了很多具體的實體(例如人名、地名、機構名),其規模是《同義詞詞林(擴充套件版)》的數百倍,並且還在不斷的擴充。

640?wx_fmt=png

《大詞林》的特點在於能夠從多種資訊源中自動地構造詞彙和詞彙的上下位關係。這是劉挺教授帶領的團隊中一名博士生髮表的一篇ACL會議論文(該會議是自然語言處理領域的頂級會議,被計算機學會評定為Rank A),這篇論文詳細地展示瞭如何自動的從多資訊源裡獲取實體概念詞的技術框架。

640?wx_fmt=png

簡單來說,獲取概念詞的來源主要有三個,1)搜尋引擎中檢索得到的高概率的同現詞,2)線上百科的類別標籤3)詞語的構詞法,對於很多詞,其後綴即為該詞的概念詞,例如像微軟公司的公司就是微軟公司這個實體的概念詞。之後,採用排序演算法對獲取得到的這些候選概念詞進行打分,然後擷取超過一定閾值的候選概念詞保留到《大詞林》中。

上面的方法僅僅獲取了針對某個詞語的概念詞,如左圖所示。但是,概念詞之間是有明顯的層次關係的,如右圖所示,而《大詞林》的特殊之處就在於能夠自動形成概念詞之間的層次結構。基於上述的處理方案,從《同義詞詞林(擴充套件版)》的十萬詞出發,現在的《大詞林》已經成為一個具有千萬級詞彙量級的知識圖譜,並且其規模每天都在不斷的增長。

0?

由於《大詞林》是自動構建的,因此需要對其質量做一個評估,以判別《大詞林》中是不是包含了很多的錯誤,到底可不可以實用。劉挺教授帶領的團隊對《大詞林》做過抽樣評估。結果顯示,針對某個詞語,找到其概念詞的準確率為85%,詞語之間的上下位關係識別的準確率為90%。

相比於其他知識圖譜,《大詞林》主要專注於語言學中詞彙的上下位關係的自動構建,是一種語言的知識圖譜。當然,目前劉挺教授帶領的團隊也著手在《大詞林》中引入橫向關係,相信不久的將來就能看見更加全面的《大詞林》。

事理圖譜概念的提出

關於事理圖譜。現有的知識庫普遍是以“概念及概念間的關係”為核心的,缺乏對“事理邏輯”知識的挖掘。劉挺教授團隊認為在實際應用中,事理邏輯(事件之間的演化規律與模式)是一種非常有價值的常識知識,挖掘這種知識對我們認識人類行為和社會發展變化規律非常有意義。舉個經典例子,北京人買房子,買完房子下一步就是裝修,裝修完了就會買傢俱,如果在網上發現有人發微博說他買房子了,裝修公司就可以跟上去做廣告,這就是一種預測。事理圖譜並不是以名詞為核心節點的知識庫,而是以事件而且是抽象類事件為核心的事理邏輯知識庫。舉個例子,國家領導人訪問另一個國家,這就是一個抽象事件。劉挺教授的團隊三年前就提出了事理圖譜的概念。

640?wx_fmt=png

事理圖譜只定義兩種事件間關係:一種順承,一種因果,這兩種關係都有時間順序。本質上事理圖譜是一個事理邏輯知識庫,描述了事件之間的演化規律和模式,可以應用在生活中的很多方面,比如事件預測 ,常識推理,消費意圖挖掘,對話生成等等。

640?wx_fmt=png

事理圖譜與知識圖譜的區別,知識圖譜研究物件為名詞性實體及其關係,事理圖譜研究物件是謂詞性事件及其關係。知識圖譜主要知識形式是實體屬性和關係,事理圖譜則是事理邏輯關係以及概率轉移資訊。事件間的演化關係多數是不確定的,而實體之間的關係基本是穩定的。

640?wx_fmt=png

事理圖譜中的事件定義。事理圖譜中的事件是一個泛化的抽象的事件,比如吃火鍋,去機場 ,看電影都可以,但要是說非常的具體,某年某月幹了什麼,這就不是事理圖譜中儲存的知識。但也不能太抽象,比如,去地方,做事情,也不是事理圖譜中儲存的知識。事件間的關係就兩種,一種順承關係,吃飯,買單,離開餐館,這就是很常見的事件順承關係。還有就是因果關係,我們認為因果關係是非常重要的,只有因果關係建立了,才能通過控制因變數去影響結果。

640?wx_fmt=png

事理圖譜有3種典型的拓撲結構, 第一種是鏈狀,順承關係為典型代表。第二種是樹狀,這其中有一種事件是心理事件,打算去做某事,並不是真做了;第三種是環狀,以打架報復住院為例,迴圈往復。

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

事理圖譜國內外相關工作

與事理圖譜最相關的兩個研究方向是統計指令碼學習和事件關係識別。統計指令碼學習是與事理圖譜非常接近的一個研究領域。1975年,美國學者Schank提出指令碼概念;2003年,日本學者提出自動獲取指令碼的方法;2008年,Dan Jurafsky利用無監督的方法構建事件鏈,成為該方向一個具有代表性的先驅工作。2014至今,統計指令碼相關研究工作進入了復甦和發展階段。

640?wx_fmt=png

除此之外,還有一條技術路線是事件間關係(時序和因果)識別。

640?wx_fmt=jpeg

640?wx_fmt=png

哈工大在事理圖譜的研究

哈工大主要在兩個領域進行了事理圖譜探索性的工作,一方面是出行領域事理圖譜的構建和應用;另一方面是金融領域事理圖譜的構建和應用。

640?wx_fmt=png

出行事理圖譜的潛在應用

640?wx_fmt=png

640?wx_fmt=png

出行領域更多是順承關係,其構建過程包括資料清洗、NLP預處理、事件抽取和泛化、生成候選事件對、順承關係識別、順承方向識別。

第二個是金融領域事理圖譜。

640?wx_fmt=png

640?wx_fmt=png

可將金融領域事理圖譜應用於股市預測當中。

640?wx_fmt=png

從知識圖譜到事理圖譜的總結

劉挺教授的總結:知識圖譜在各個領域精耕細作,逐漸顯露價值,但知識表示形式有待突破,推理能力有待提高。統計指令碼學習和事件關係識別等事理圖譜相關研究越來越吸引研究者的關注。以“謂詞性短語”為節點,以事件演化(順承、因果)為邊的事理圖譜方興未艾。事理圖譜必將在預測、對話等領域發揮重要作用,有力地提升人工智慧系統的可解釋性。

最後劉挺教授向他的合作者,哈工大社會計算與資訊檢索研究中心的秦兵教授、劉銘副教授、丁效老師,以及博士生趙森棟、李忠陽、姜天文表示感謝。

以上內容為劉挺教授在CNCC 2017 [ 知識圖譜遇見社交媒體 ] 論壇上的精彩報告,AI科技評論獲其獨家授權整理。

640?

OpenKG.CN

中文開放知識圖譜(簡稱OpenKG.CN)旨在促進中文知識圖譜資料的開放與互聯,促進知識圖譜和語義技術的普及和廣泛應用。

0?wx_fmt=jpeg

點選閱讀原文,進入 OpenKG 部落格。