ChinesePersonRelationGraph

ChinesePersonRelationGraph, person relationship extraction based on nlp methods.中文人物關係知識圖譜專案,內容包括中文人物關係圖譜構建,基於知識庫的資料回標,基於遠端監督與bootstrapping方法的人物關係抽取,基於知識圖譜的知識問答等應用.
專案地址:https://github.com/liuhuanyong/PersonRelationKnowledgeGraph

專案介紹

知識抽取(實體關係抽取)是知識圖譜構建中的核心環節,實體關係抽取作為一項基本技術在自然語言處理應用中扮演著重要作用.
究其技術而言,主要分成兩種三種主流方法:

1, 基於規則的方法

在工業界大多還是使用的規則模板的方法,這個可以參考我的相關專案:
1)https://github.com/liuhuanyong/EventTriplesExtraction, 這是藉助依存句法與語義角色標註的方法.
2)https://github.com/liuhuanyong/ComplexEventExtraction, 這個專案提供了複合事件的基本模式,可以初步篩選出候選的因果,反轉等事件
3)https://github.com/liuhuanyong/SequentialEventExtration, 這個專案提供了一種基於VOB模式的順承事件抽取方法,講的是一種順承關係
基於規則的方法,升級版的話,就是Bootstrapping了,可以通過使用者自定義種子模板,不斷迭代,最終擴充模式,但置信度這個問題不是很好解決 #

2, 基於學習的方法

這個在學術界用的比較多,從機器學習一直演變了到現在的各種深度學習模型,而在這種方法中,通常實體關係抽取問題轉換成一個實體關係分類任務去做,主要可以分成一下幾種.
1)基於全監督的實體關係抽取
這個全監督,也就是說,基於完全標註資料的一種學習方式,例如著名的實體關係評測Semeval系列,給出了19種關係分類任務,ACE給出了17類的實體關係分類任務.針對這些任務,模型經歷了CNN,LSTM,ATTENTION等,這裡就不再說明.
2)基於噪聲資料的遠端監督實體關係抽取
全監督模型固然很好,但資料是一個很棘手的問題,因此就出現了遠端監督的方法,所謂遠端監督,個人理解就是已經存在的知識庫進行資料回標,然後通過多例項學習進行一種容許噪聲的監督方法.不過這種方法準確率不是很高,在NYT這個資料集上,PCNNS等工作都沒有達到業業界可以使用的地步.當然,最新出現了聯合訓練的模型.
3)基於規則與學習模型融合的實體關係抽取
這種方式,在業界或許是一種出路,例如,將實體關係抽取中的實體識別部分交給學習模型去做序列標註,最後針對實體之間的關係,結合依存句法等語義規則去做,這個在解決實體的多種關係問題,可以去嘗試.

3, 當前問題

但就針對全監督的實體關係抽取任務而言,在英文資料集上已經在刷各種state-of-art,但就中文而言,感覺還是一片貧瘠.在網上搜了很久,最終指搜到COAE2016的一個評測任務,但是,評測集不公開.因此,就丟擲了本專案構建的幾個初衷:
1, 中文實體關係抽取資料集很少,能不能構建一個準確率可接受的資料集?
2, 能不能淺顯易懂地把那些"高大上"的遠端監督,bootstrapping經歷一遍?
3, 人物關係資料在百科等平臺上都有放出,或許可以做為遠端監督的先驗知識庫?
4, 能否提供一個實時動態更新的人物關係圖譜方法?

4,專案任務

因此,本專案將嘗試完成以下幾個任務:
1, 完成一定規模的人物關係知識庫, 作為公開資料集開放出去
2, 走一遍實體關係回標,形成一個準確性相對允許的人物關係抽取資料集
3, 走一遍基於學習方式實體關係抽取,檢視一下效果,熟悉一下這個技術流程
4, 走一便基於Bootstrapping的實體關係抽取,熟悉一下這個技術流程
5, 基於構建起來的人物關係圖譜,完成一個面向人物關係圖譜的知識問答

專案架構圖

人物關係基礎知識庫

1,收集人名詞典
2,基於人名詞典,採集搜狗人物關係圖譜資料庫

劉備人物關係網

2# 韓寒人物關係網

3,人物關係資料庫規模

4,人物關係60%

回標語料構建

目錄地址:EventMonitor
執行方式:cd EventMonitor , scrapy crawl eventspider
回標語料舉例:

  <霍英東, 霍震宇, 三子>	據此間媒體11日報道，<e1>霍英東</e1>長房三子<e2>霍震宇</e2>再度入稟法院，要求法官頒令兄長霍震霆交出記錄<e1>霍英東</e1>所有資產及財務資料的記事本1.0
  <樸寶英, 金秀賢, 緋聞>	【組圖】最愛人妻全智賢“初戀”秀智一再插足 <e1>樸寶英</e1>韓佳人T-ara恩靜已成往事 <e2>金秀賢</e2>緋聞女友大盤點1.0
  <辰亦儒, 炎亞綸, 飛輪海組合>	飛輪海曾是火遍亞洲的偶像組合，飛輪海四名成員吳尊、汪東城、<e1>辰亦儒</e1>和<e2>炎亞綸</e2>四人也曾是不少人心目中的偶像，象徵著我們的一代人的青春1.0
  <唐貝欣, 唐貝詩, 姐姐>	<e1>唐貝欣</e1>在倫敦大學畢業姐姐<e2>唐貝詩</e2>當然捧場1.0
  <劉琳, 劉孜, 同學>	<e2>劉孜</e2>是徐靜蕾、<e1>劉琳</e1>的同學，最初是主持綜藝節目，後投入影視劇的拍攝1.0
  <高曉鬆, 沈歡, 第一任妻子>	<e1>高曉鬆</e1>老婆<e2>沈歡</e2>相識過程：關於<e1>高曉鬆</e1>和第一任妻子<e2>沈歡</e2>的相識，頗具戲劇性1.0
  <高崚, 張軍, 搭檔>	<e1>高崚</e1>是國羽歷史上的又一位女子兼項英雄，2000年8月，<e1>高崚</e1>搭檔<e2>張軍</e2>參加悉尼奧運會羽毛球混雙比賽中爆冷為中國隊奪得了奧運會歷史上第一枚混雙金牌1.0
  <李行亮, 黃雅莉, 好友>	陳俊彤自出道以來收穫了不少圈內好友，<e1>李行亮</e1>、<e2>黃雅莉</e2>等也紛紛為陳俊彤新專輯的推出送上了祝福，他們對於音樂同樣的執著和熱愛令友誼長存，也令現場火速升溫1.0
  <謝坤達, 黃鴻升, 好友>	修杰楷和好友<e2>黃鴻升</e2>、<e1>謝坤達</e1>2017年上《小燕有約》，在小燕姐的追問下侃侃而談，回憶兩人相戀，感性說：“我一直說靜雯比我勇敢，她其實要付出的事情，是比我更多1.0
  <張君秋, 王婉華, 弟子>	演出結束後，董雪平、萬曉慧拜京劇名家<e1>張君秋</e1>先生弟子<e2>王婉華</e2>、薛亞萍為師1.0
  <霍英東, 霍啟山, 孫子>	<e2>霍啟山</e2>，1983年5月生，廣州人，是<e1>霍英東</e1>的孫子，父親霍震霆為<e1>霍英東</e1>長子，母親是港姐冠軍朱玲玲，哥哥是霍啟剛，弟弟是霍啟仁1.0
  <苗僑偉, 苗彤, 女兒>	4.<e1>苗僑偉</e1>女兒<e2>苗彤</e2>1.0
  <萬方, 曹禺, 父親>	知名作家、<e2>曹禺</e2>三女兒<e1>萬方</e1>在會後接受專訪時表示，自己曾因為父親在話劇方面的成就而感到壓力，直到五十歲才寫出第一部話劇作品1.0
  <姜文, 姜一郎, 女兒>	近日，<e1>姜文</e1>女兒<e2>姜一郎</e2>和外國朋友的合影在網路曝光，合影中<e2>姜一郎</e2>長髮紅脣，很有大腕風範1.0
  <陳建斌, 曹衛宇, 同學>	<e2>曹衛宇</e2>在劇中飾演吳昆才，和大學同學也是多年好兄弟的<e1>陳建斌</e1>有大量對手戲，兩人在片場配合十分默契，<e2>曹衛宇</e2>更是大呼和兄弟演戲很過癮1.0
  <曹敏莉, 曹蕙蘭, 妹妹>	<e1>曹敏莉</e1>的妹妹<e2>曹蕙蘭</e2>(前名曹敏寶)通過電話訪問，激贊未來姐夫愛屋及烏，問她姐姐是否有喜，<e2>曹蕙蘭</e2>說：“一定不是，反而大姐姐七月就生了1.0
  <付笛聲, 付豪, 兒子>	1992年，任靜和<e1>付笛聲</e1>的兒子<e2>付豪</e2>出生了，讓這個家庭更添了許多的歡樂1.0
  <王洪禮, 王亮, 兒子>	而<e1>王洪禮</e1>的兒子<e2>王亮</e2>也從事了足球職業，並且取得了不錯的成績1.0
  <韓庚, 銀赫, sj成員>	出道當時的成員有利特、希澈、<e1>韓庚</e1>、藝聲、強仁、神童、晟敏、<e2>銀赫</e2>、東海、始源、厲旭和起範1.0
  <劉少奇, 劉允斌, 兒子>	1955年，在俄羅斯已經紮根立足的<e2>劉允斌</e2>接到了父親的來信，<e1>劉少奇</e1>希望兒子能回到祖國，加入到新中國第1.0
  <丁俊暉, 蔡劍忠, 恩師>	他擁有出眾的檯球能力，而且很懂事，性格比較開朗，深得教練喜愛，<e1>丁俊暉</e1>昔日恩師<e2>蔡劍忠</e2>[微博]就曾公開表示，“如果袁思俊發展好，未來極有可能追上甚至超越<e1>丁俊暉</e1>的成就1.0
  <鬱可唯, 黃英, 同是快女>	搜狐娛樂訊“快女”三強正式出爐！與傳聞相符，最後一位離開的選手在同是成都賽區的<e2>黃英</e2>和<e1>鬱可唯</e1>之間進行抉擇，唱功備受肯定的<e1>鬱可唯</e1>最終止步三強，成為今年“快女”第四名1.0
  <王皓, 閆博雅, 妻子>	騰訊體育9月29日訊近日，乒乓名將<e1>王皓</e1>在綜藝節目中因與妻子<e2>閆博雅</e2>意見不合而憤然離場，這件事引起不小的轟動1.0
  <蔡康永, 劉坤龍, 同志男友>	<e1>蔡康永</e1>泣訴心酸路感動金星 <e1>蔡康永</e1>男友<e2>劉坤龍</e2>個人資料曝光(圖)1.0
  <張晨, 盧衛中, 教練>	多年來，江蘇隊先後為國家隊培養和輸送了袁偉民、鄒志華、邸安和、曹平、薛永業、張友生、<e2>盧衛中</e2>、陸飛、張曉東、施海榮、陳平、<e1>張晨</e1>等一大批優秀國手和教練，為我國排球事業做出卓越的貢獻1.0
  <葉莉, 苗立傑, 好友>	陳楠與<e2>苗立傑</e2>均為姚夫人<e1>葉莉</e1>在女籃國家隊中的好友，因此她們與姚明夫婦的關係極佳1.0
  <於震, 辛月, 妻子>	演員<e1>於震</e1>的妻子<e2>辛月</e2>貌美如花【圖】1.0
  <馬唯中, 周美青, 母親>	馬英九夫人<e2>周美青</e2>幾次出境，據瞭解，<e1>馬唯中</e1>趁同行機會，要蔡沛然向她母親請安1.0
  <康希, 何耀珊, 妻子>	新加坡<e1>康希</e1>等牧者失信案二審 其妻子<e2>何耀珊</e2>被指募資1.0
  <盧燕, 李桂芬, 母親>	<e1>盧燕</e1>的母親是京劇名伶<e2>李桂芬</e2>，曾拜梅蘭芳為義父，而京劇大師梅蘭芳正是第一位將京劇介紹到海外的文化使者，並使京劇躋身於世界戲劇之林1.0
  <李健, 沈夢辰, 經紀人>	記者瞭解到包括<e2>沈夢辰</e2>在內的《歌手3》(線上觀看)芒果經紀人也將加盟《好好學吧》，至於<e2>沈夢辰</e2>會否帶著清華哥<e1>李健</e1>一起上節目，備受期待1.0
  <林志玲, 吳慈美, 母親>	<e1>林志玲</e1>母親<e2>吳慈美</e2>表示，“她每年都要繳很多稅款，應該不會(漏稅)吧1.0
  <錢三強, 錢民協, 女兒>	<e1>錢三強</e1>女兒<e2>錢民協</e2>：三錢中兩錢曾是鄰居1.0
  <楊元龍, 楊敏德, 女兒>	1978年由<e1>楊元龍</e1>創立的香港溢達集團，早在20年前就交班到女兒<e2>楊敏德</e2>的手中1.0