知識圖譜構建流程詳解
阿新 • • 發佈:2020-10-20
知識圖譜構建
1. 主要流程
2. 層次劃分
知識圖譜建設是一項系統工程,從模組劃分角度,可劃分為如下層次:
- 資料獲取:通過爬蟲,內部CP等資料來源獲取資料,涉及到主要技術有網頁抓取技術,包括結構化資料和非結構化資料抽取以及一些列爬蟲相關工具鏈,產出的結果為原始資料
- 知識獲取:旨在把原始資料變為領域知識的過程,本層涉及到的技術有schema建設,資訊抽取技術如yago的三元組抽取技術。本層產出的結果為結構化的知識(實體以及其屬性值,實體可能的關聯等),本層工具鏈建設包含:schema管理工具(schema完備性一致性檢查工具),知識抽取演算法,知識對齊等
- 知識融合:第二層更多從領域的角度獲取知識,本層更多從全域性的角度出發,把相關的領域知識融合在一起,做到實體消歧,實體對齊,本層會在知識層面上輸出一個圖譜,工具鏈建設有實體消歧融合演算法,schema融合演算法等
- 知識服務:提供知識圖譜視覺化服務,儲存查詢,包括如何把知識圖譜對外提供服務以及一些線上互動工具
- 應用技術:基於知識圖譜的應用,包括知識推理、知識問答、實體連結等。每一塊都是NLP領域的難點
五大模組從邏輯上比較獨立,每層的評價標準不同工作量不同