1. 程式人生 > 其它 >交通行業提升資料利用效率的核心是做好資料交換與共享

交通行業提升資料利用效率的核心是做好資料交換與共享

近年來,政策環境的持續優化讓資料紅利在交通行業加速釋放,比如:2016年,交通運輸部部署了綜合交通運輸大資料應用中心建設工作,同時也委託交通運輸部交科院開展綜合交通運輸大資料政策標準研究等任務; 

2017年10月,交通運輸部認定了5家交通大資料研發中心,2家重點實驗室,加大對交通大資料理論研究和技術研發的支援力度。在政策環境方面,交通運輸部印發《推進綜合交通運輸大資料發展行動綱要(2020~2035)》等綱領性檔案;

2019年部級交通運輸資料資源共享交換平臺建成,且上線執行,全行業資料共享交換框架基本形成。

以上表明大資料已成為智慧交通的重要戰略資源,大資料的深度應用不僅有助於智慧交通產品精細化,還有利於推動國民經濟發展。今天小億就來為大家從以下幾個方面說說交通行業的資料交換與共享: 

1.什麼是資料的交換與共享?

2.交通行業資料交換共享的價值與意義

3.交通行業交換共享的資料都有哪些?

4.交通行業如何做好交換共享平臺的設計

 

一、什麼是資料的交換與共享?

出於各種原因,組織會選擇資料交換與共享。例如,內部與內部的資料交換共享,企業與企業之間的資料交換共享,以及政府或企業對個人或服務提供商的資料交換與共享。資料交換共享就是讓不同地方使用不同計算機、不同軟體的使用者能夠讀取他人資料並進行各種操作運算和分析。 

也就是當資料從一個系統跨授權邊界訪問或傳遞到另一個系統時,就需要使用一個或多個協議來指定每個組織的責任、要訪問或交換的資料型別和影響界別、如何使用交換資料,以及在交換系統的兩端處理、儲存或傳輸資料時如何保證資料安全。

常見的資料交換/共享場景包括但不限於:在授權使用者之間共享資料和資訊;提供對資料的自定義訪問;合作進行聯合專案;提供完整的、短暫的、間歇性的、永久的或臨時的資料交換共享活動;通過交換共享減少資料收集工作量和成本;提供線上培訓;為關鍵資料和備份檔案提供安全儲存。

 

二、交通行業資料交換共享的價值與意義

隨著近年來資訊化建設的不斷深入,各級交通運輸業務部門根據自身需求已經建設了相應的資訊系統,涉及行業包括公路交通、路網執行、道路運輸、水路交通、綜合服務管理等。

不過,這些系統的建立只服務於獨立的業務部門,且在不同時期完成,缺少統一的管理規劃,業務系統各自掌握的資料不能及時有效提供給相關需求單位,影響到了交通運輸行業公眾服務和政務管理的質量與效率。因此交通行業需要發展對應的高質量高效率交通運輸資料資源共享交換體系。 

比如,交通行業資料中心作為整個智慧城市資料中心的交換子節點之一,負責橫向疏通運管、公路、港航等部門資訊資源交換與共享的渠道,縱向打通與地區智慧城市資料交換平臺之間橋樑,實現與其他行業部門之間資訊資源的共享和交換,最終彙集形成智慧交通行業資料庫群,支撐整個智慧交通各相關係統。

在應用層面,對於出行者來說,可以提供準確最佳的出行時間,交通路徑及交通方式;對城市交通管理者來說,由於能實時獲取交通監控資料,能幫助提高管理決策能力。

 

三、交通行業的交換共享的資料都有哪些?

交通行業需要交換與共享的資料有兩種,分別是行業間資料和行業內資料。

1.行業間資料交換

交通行業間資料交換主要針對的是地區公安局交警大隊、建設局、旅遊委員會、氣象局等跨行業部門單位之間的資料。開發與智慧城市資料交換平臺的資料介面,使智慧交通行業資料中心能夠共享到公安、旅遊、氣象等資訊資源,同時也能將各類需求資料資源推送至公安局交警大隊、建設局、旅遊委員會、氣象局等跨行業部門。兩級交換平臺的關係如下圖所示:

 

2.行業內資料交換 

交通行業內資料交換與共享主要針對的是交通局及其下屬各部門之間的資料交換與共享,如公路局、運管局和港航所。通過開發與交通局各個下屬部門的資料介面,使智慧交通行業資料中心能夠共享到公路局、港航所、運管局的資訊資源,同時也能將各類需求資料資源推送至交通局、公路局、運管局和港航所等行業內部門。

 

四、交通行業如何做好資料交換共享平臺的設計

資料交換平臺是業務應用系統資訊共享和資料整合的手段與工具,主要解決因資料庫型別、開發執行環境、網路環境各異導致的“資訊孤島”問題,提高資料傳輸的效率和可靠性。 

與此同時,資料交換平臺可以為各級資料中心、各類應用系統的資料交換提供一個統一的、規範化的、方便使用的資料交換系統,主要包括資料交換系統和資料共享系統。

(1)資料交換系統實現分散式資料庫間的資料同步、交換與整合,以及支撐跨區域分散應用間的資料共享;

(2)資料共享系統能夠讓各個業務系統之後不再出現網狀圖的結構,呈現星狀結構,連線各類應用和應用所需的資訊資源,組織和整合各類資料、元件和服務。

資料資源交換共享與開發應用平臺按資料的流向自下而上分為五層,分別為外部資料資源層資料匯聚層資料融合層服務管理層服務門戶層。資料交換共享平臺系統架構如圖所示。

△資料交換共享平臺系統架構圖

1.外部資料資源層 

外部資料資源層即源資料庫,為系統外部資料的來源,其主要包括行業內系統共享資料、行業外系統共享資料及網際網路資料。

 

2.資料匯聚層 

資料匯聚層主要實現對外部資料來源層的資料整合,其主要根據獲取資料的特性不同而採用不同的採集方案。對離線批處理資料,實時性要求不高的情況下,採用傳統的ETL工具來實現。對資料實時性要求高、採集頻度較高的資料(如GPS、感測器、移動終端傳送資料等),採用實時資料接入方案。

 

3.資料融合層 

資料融合層為工程資料提供持久化儲存和訪問的場所。通過“一體化資料庫+分散式資料庫+Hadoop大資料庫”的混合架構形成平臺的資料融合層。其中核心生產系統結構化資料儲存查詢等通過一體機資料庫提供,實現高併發的資料查詢分析能力;非結構化資料通過分散式儲存架構的儲存節點上部署的資料庫提供。

 

4.服務管理層

主要包括目錄管理、資源管理、服務管理、交換管理等功能

目錄管理提供目錄編制、目錄維護、目錄變更、目錄稽核、目錄釋出等操作功能,能夠方便快捷檢索到交通行業不同分類資訊資源目錄情況。

資源管理部分主要是進行資源註冊,根據已編制完成的資訊資源目錄,在進行了資料接入後進行資源的註冊操作,將目錄編目時錄入的“標準化”資訊項與資料接入時的實際資訊項建立的匹配資訊進行註冊以便釋出服務使用。

服務管理提供服務釋出,服務啟用/停用,服務監控,服務呼叫日誌,統計分析等管理能力,實現服務的全生命週期管理,從開發、測試、釋出、呼叫、登出,到服務監控、安全等的管理。

交換管理提供資源服務共享申請,交換管理,任務監控等功能,通過介面、資料庫、檔案等不同方式提供資料服務以滿足不同資料需求,對共享任務動態監控告警方便跟蹤資料鏈路的聯通性。

 

5.服務門戶層 

通過服務門戶和介面支援,提供標準化服務給應用系統呼叫,滿足各種場景下應用系統對資料的使用和共享交換需求。

 

五、交通行業資料共享交換平臺建設注意事項

1.需要有頂層思維 

交通行業資料共享交換專案需要有頂層思維,因為無論從資金上還是規模上都是一個系統性工程,所以前期需要對“為什麼建,給誰建,怎麼建,怎麼用”進行充分研究,結合交通運輸部的要求和規範,因地制宜地進行規劃與佈局。 

 

2.構建可持續的資料驅動管理的運營環境

交通行業搭建資料共享交換平臺需要考慮可持續發展,而可持續發展需要考慮包括資料來源頭質量治理、資料安全管理、資料共享管理架構和資料應用模式等。此外,還需要有技術、有能力且有運營經驗的團隊進行管理。

 

3.實現資料深層次的應用 

交通行業的資料共享交換平臺不能只追求資料量大,而是要把不同渠道匯聚融合的資料盤活,只有不停地實現資料深層次的應用,挖掘資料背後的關係和價值,才能如滾雪球一般,使資料之間的相互關係更豐富更完善。

 

4.做好資料安全管理

交通行業的資料共享交換過程中,資料安全非常重要,安全不僅僅是儲存環境的安全,應該涉及方方面面,涵蓋技術安全和管理安全,我們的資料採集、傳輸,以及資料和系統的管理、對外展示和服務等各個環節都要有安全措施及各種預案。這裡億信華辰資料交換管理平臺(EsDataExchange)能幫到你。 

億信華辰資料交換管理平臺可容納多種多樣資料格式,提供豐富資料處理與交換任務設計,提供視覺化資料交換監控,滿足不同場景下的資料傳輸交換需求。

例如,四川省運管局綜合管理與服務資訊平臺就是藉助億信華辰資料交換平臺搭建,圍繞運管局相關業務,建設了一個交換中心,統籌規劃廳運管局內部資料的交換共享、廳運管局與部省運政跨省協同業務資料交換共享以及同公安交通違章事故資料、卡口資料、安監事故資料等外部門交換資料。 

最終幫助四川省運管局成功整合了各類道路運輸資訊資源,構建成為全省統一規劃、結構合理、靈活共享的資料中心體系。建立了資訊資源目錄體系,實現了資訊資源註冊、釋出、分類管理及目錄檢索、標準管理、共享目錄管理等功能。

 

六、小結 

國家和交通運輸部在“新基建”和“數字交通”建設的相關規劃和檔案裡均提出了加快大資料中心和交通運輸“綜合大腦”的建設,而其核心就是資料的共享與交換。

交通行業的資料共享交換是以交通運輸管理部門業務應用需求為出發點,以大資料畫像為核心,以探究交通問題本質、支撐多交通模式協同應用為目標,最終希望實現海量綜合交通資料的共享交換、特徵分析和視覺化展示,從而能充分挖掘交通資料中的價值。

從國家層面看,這不僅能夠對衝疫情對經濟的負面影響,為中國經濟轉型升級打下堅實基礎,從行業發展層面看,這也有主力完善交通行業資源的共享和交換,進而促進交通運輸各業務之間的協同,推動資料賦能交通運輸行業的快速發展。