2. 程式人生 > >基於攜程遊記的出行領域順承事件圖譜專案

基於攜程遊記的出行領域順承事件圖譜專案

阿新 • • 發佈：2018-11-28

EvolutionaryEventGraph

專案地址：https://github.com/liuhuanyong/SequentialEventExtration
Evolutionary Event Graph based on Travel note crawled from XieCheng，基於50W攜程出行攻略的順承事件抽取與事件圖譜構建.

專案來源

目前,以謂詞性短語作為事件表示的方法方興未艾,針對特定領域,構建起特定領域的順承事件圖譜,可以支援事件推理,基於事件的意圖識別與推薦等多項運用.
本專案將從出行領域展開進行實驗.

專案構成

本專案由兩個部分的組成,具體包括語料的獲取以及基於語料的事件挖掘兩個部分,具體專案目錄包括:
news_spider:基於scrapy的遊記採集指令碼
event_graph:基於依存句法與順承模式的順承事件抽取腳
image:遊記順承事件圖譜效果圖

一 出行領域語料的獲取

  1. 語料來源:攜程出行攻略

  2. 時間範圍:2018年7月14日之前

  3. 採集方式:使用scrapy編寫爬蟲指令碼進行抓取

  4. 採集規模:共採集505767篇，量級50W

  5. 採集指令碼目錄:news_spider/travelspider

  6. 語料舉例:

         107330 一路向南——第二篇相逢南通（自駕遊） - 遊記攻略【攜程攻略】
     107331 彩雲之南—雲上的蜜月之旅 - 麗江遊記攻略【攜程攻略】
     107332 甘肅遊記之瑪曲郎木寺 - 碌曲遊記攻略【攜程攻略】
     107333 拍客白沙行 - 舟山遊記攻略【攜程攻略】
     107334 九華山-沐浴在佛恩下的XXX - 九華山遊記攻略【攜程攻略】
     107335 墾丁夏季活動 - 墾丁遊記攻略【攜程攻略】
     107336 行走在臺灣（向隅版）---世外桃源之我們的家（九份民宿） - 九份遊記攻略【攜程攻略】
     107337 衛賽節馬來西亞行 - 馬六甲州遊記攻略【攜程攻略】
     107338 藍天下的嘉峪關 - 嘉峪關遊記攻略【攜程攻略】
     107339 人生一定要登一次雪山---都日峰 - 四川遊記攻略【攜程攻略】
     107340 八月，青海湖不遠 - 海北遊記攻略【攜程攻略】
     107341 #冬季北京# 帝都極冷天去首富的酒店避避寒 - 北京遊記攻略【攜程攻略】
     107342 聖地西藏 - 青海湖遊記攻略【攜程攻略】
     107343 孩子，媽媽想讓你見識更多的繁華世界 - 深圳遊記攻略【攜程攻略】
     107344 頂級奢華，捨我其誰！ - 澳門遊記攻略【攜程攻略】
     107345 旅行、不需要走遠！美景就在身邊 - 江門遊記攻略【攜程攻略】
     107346 安安靜靜，不言不語都是好風景 - 廈門遊記攻略【攜程攻略】
     107347 邂逅則天故里 行走美麗利州 體驗師帶你看中國女兒節 - 廣元遊記攻略【攜程攻略】
     107348 臺灣，可以這樣玩--15日環島自由行全記錄 - 臺北遊記攻略【攜程攻略】
     107349 讓我記憶深刻的廈門--詳細版 - 廈門遊記攻略【攜程攻略】
     107350 上海地鐵站 - 上海遊記攻略【攜程攻略】
     107351 逃離霧霾，帶著“馬拉多納”去騰衝 - 騰衝遊記攻略【攜程攻略】
     107352 在我心上用力地開一 - 四川遊記攻略【攜程攻略】
     107353 冬季到鄱陽湖邊的餘干縣看鳥，多張美圖記錄環湖遊全過程 - 餘干遊記攻略【攜程攻略】
     107354 2014.十一瀋陽，本溪老邊溝，楓葉大道，丹東，不走重複路，古蹟，景色5日窮遊 - 瀋陽遊記攻略【攜程攻略】
     107355 庫不齊老牛灣之戶外行走 - 庫布齊沙漠遊記攻略【攜程攻略】

二 基於出行語料的順承事件圖譜構建

1, 順承事件的抽取

event_extract.py, 思想步驟如下:

  1. 輸入遊記文字
  2. 對遊記進行長句切分
  3. 基於構造的順承關係模板,進行順承前後部分提取, 轉入4)
  4. 對3)得到的部分進行短句處理,轉入5)
  5. 對4)得到的短句進行謂詞性短語提取
  6. 對5)得到的謂詞性短語向上匯聚,得到一個長句的謂詞性短語有序集合
  7. 對6)步驟得到的謂詞性短語集合,以滑窗方式構造順承關係事件對
  8. 對步驟7)得到的順承事件對進行彙總,最終得到順承事件庫
  9. 對8)進行事件進行整合,去除過低頻次的事件,構造標準順承關係庫

2, 順承事件圖譜的展示

10)使用VIS外掛進行順承關係圖譜構建與展示, event_graph.py
11)由於VIS作為一個封裝的JS庫,因此生成的順承圖譜在專案中暫時設定到500,見travel_event_graph.html

三 順承關係圖譜效果

1) 總體圖譜樣式

以500個順承事件, 進行順承事件圖譜展示,結果是一張事件網路,這是一個大的順承關係圖譜,由眾多小子圖譜構成
image

2) 去麗江子圖譜

該子圖譜圍繞"去麗江旅遊"這一出行事件為核心形成的事件群:
image

3) 飛機路線子圖譜

該子圖譜顯示了選擇飛機進行出行形成的事件序列
image

4) 火車路線子圖譜

該子圖譜顯示了選擇火車進行出行形成的事件序列
image

5) 訂酒店事件圖譜

該子圖譜描述了一個"預定酒店不愉快事件",從預定到失望到總結,在這條順承事件連結串列現出來
image

6) 做飯事件圖譜

該子圖譜表示了一個"做飯"場景下的順承事件,感覺也很有意思
image

總結

  1. 該專案只是一個基於50W文章領域語料,運用簡單提取方式形成的順承關係圖譜demo,還有很多不足
  2. 該專案目前是形成了事件節點為326781個, 順承事件對為543580條,分別為30W和50W的圖譜規模
  3. 對於謂詞性短語進行事件表示是事件表示的一種方式,本方法只採用VOB關係進行提取,這種方式還有待改進
  4. 以3)得到的結果中,還存在大量噪聲,這一方面準確率受依存句法的準確性限制,另一方面該依存關係可能還相對單一,不夠準確
  5. 在構造順承事件序列的方法,本專案採用的是長句為單位下的滑窗方式進行構造,這個方式還有待改進
  6. 基於目前形成的順承關係圖譜還有待於進一步挖掘,可以在此基礎上完成更多有價值的資訊挖掘

Question?

send mail to [email protected]
專案地址：https://github.com/liuhuanyong/SequentialEventExtration
If any question about the project or me ,see https://liuhuanyong.github.io/

相關推薦

基於攜程遊記的出行領域順承事件圖譜專案

EvolutionaryEventGraph 專案地址：https://github.com/liuhuanyong/SequentialEventExtration Evolutionary Event Graph based on Travel note crawled from X

Ubuntu 16.04下搭建基於攜程Apollo（阿波羅）配置中心單機模式

settings cal tro script fig setting col 文件夾 .gz 官網：https://github.com/ctripcorp/apollo Wiki：https://github.com/ctripcorp/apollo/wiki Is

CentOS 7 搭建基於攜程Apollo（阿波羅）配置中心單機模式

管理平臺 9.png ron 密碼修改 art onf ice spring pos Apollo（阿波羅）是攜程框架部門研發的配置管理平臺，能夠集中化管理應用不同環境、不同集群的配置，配置修改後能夠實時推送到應用端，並且具備規範的權限、流程治理等特性。服務端基於Sprin

基於依存句法與語義角色標註的事件抽取專案

EventTriplesExtraction 專案地址：https://github.com/liuhuanyong/EventTriplesExtraction EventTriplesExtraction based on dependency parser

基於C#.NET的高端智能化網絡爬蟲（二）（攻破攜程網）

nbsp net article 智能 tail 攜程網 .net 網絡爬蟲 準備工作 轉:https://www.toutiao.com/i6304492725462893058/ https://blog.csdn.net/hjkl950217/article/det

python資料分析：攜程出行產品預測未來14個月銷量

資料探勘入門與實戰 公眾號： datadw 原文：https://www.kesci.com/apps/home/#!/forum/postdetail/59194c685d9f204ee315ed90 回覆公眾號“攜程預測”獲取本文資料分析python原始碼. 調查發

Python求解啤酒問題（攜程2016筆試題）

sep 走了 參考資料 很難 bucket static turn and item 問題描述：一位酒商共有5桶葡萄酒和1桶啤酒，6個桶的容量分別為30升、32升、36升、38升、40升和62升，並且只賣整桶酒，不零賣。第一位顧客買走了2整桶葡萄酒，第二位顧客買走的葡萄酒是

攜程日處理20億數據，實時用戶行為服務系統架構實踐

現在 應用 模塊 讀取數據 謝謝 經驗 需要 水平 pic 攜程實時用戶行為服務作為基礎服務，目前普遍應用在多個場景中，比如猜你喜歡（攜程的推薦系統）、動態廣告、用戶畫像、瀏覽歷史等等。 以猜你喜歡為例，猜你喜歡為應用內用戶提供潛在選項，提高成交效率。旅行是一項綜合性的

基於協程的Python網絡庫gevent

imp false n! eache 通過 建議 ces 喚醒 code import gevent def test1(): print 12 gevent.sleep(0) print 34 def test2(): print

攜程函數、遞歸、二分法、import、from。。。import

。。 for 空間 打印 name 打開文件 from else 流水線 攜程函數 與yield類似 yield: 1:把函數的執行結果封裝好__iter__和__next__，即得到一個叠代器 2：與return功能類似，都可以返回值，但不同的是，return只能 返回一

攜程-Greenlet

自己 效果 ati 核心 con 離開 擁有 控制流 利用 協程擁有自己的寄存器上下文和棧。協程調度切換時，將寄存器上下文和棧保存到其他地方，在切回來的時候，恢復先前保存的寄存器上下文和棧。 線程切換的時候會保存到CPU裏面。 因此： 協程能保留上一次調用時的狀態（即所

攜程transform放大效果

1.2 ive pri mage sca html src div class <!DOCTYPE html> <html> <head> <meta charset="UTF-8">

微信小程序UI------實現攜程首頁頂部的界面（彈性布局）

app clas 點擊下載 技術 使用 css .html 攻略 enter 今天寫了一個攜程界面的UI，利用H5的彈性盒子來實現，學過H5彈性盒子的，來看是比較方便的，因為CSS代碼都差不多。 可以看看這篇博客 快速使用CSS 彈性盒子 效果圖如下： 　　 主要是攜程首頁

基於線程實現的生產者消費者模型(Object.wait(),Object.notify()方法)

生產者 nbsp 來看 spa res strong read 在哪裏 那一刻 需求背景 利用線程來模擬生產者和消費者模型 系統建模 這個系統涉及到三個角色，生產者，消費者，任務隊列，三個角色之間的關系非常簡單，生產者和消費者擁有一個任務隊列的引用，生產者負責往隊列中放置對

[迎風奔雨]進程+攜程

ces 頁面 urn Coding read pen style 一個 pri #-*- coding=utf-8 -*- import requests from multiprocessing import Process import gevent

【Java TCP/IP Socket】基於線程池的TCP服務器（含代碼）

init 成對 之前 .get font ack 字符串 fonts exceptio 了解線程池 在http://blog.csdn.net/ns_code/article/details/14105457（讀書筆記一：TCP Socket）這篇博文中，服務器

攜程Apollo（阿波羅）配置中心用戶管理和部門管理

cor local 參考 portal 認證 title .com one 都是 Apollo是配置管理系統，會提供權限管理（Authorization），理論上是不負責用戶登錄認證功能的實現（Authentication）。所以Apollo定義了一些SPI用來解耦，Apo

攜程Apollo（阿波羅）配置中心在.NET Core項目快速集成

.net core bsp back poll 實現 tps idt 配置 inline .NET Core的支持文檔大體上可以參考文檔.Net客戶端使用指南：https://github.com/ctripcorp/apollo/wiki/.Net%E5%AE%A2%E6

Java程序員從京東、阿裏、攜程面試回來，已成功拿到京東offer

Java 程序員 互聯網 後端 編程語言 阿裏巴巴（一面）阿裏找了一個前輩內推的，準確來說應該是直推，是他幫我直接錄的簡歷，他本科進的阿裏螞蟻金服，厲害吧？是真的佩服。第一次在官網上填資料，想想馬雲有多出名，想想螞蟻金服這樣的頂級技術，有些興奮，有些期待。錄完簡歷後等待簡歷評估，原來，找內

Spring Boot整合攜程Apollo配置中心

batch sts ade 文件 context rac bean -m space 攜程官網對apollo的使用講解了很多種方式的使用，但是感覺一些細節還是沒講全，特別是eureka配置中心地址的配置 這裏對springboot整合apollo說一下 >Spri