1. 程式人生 > >阿里雲時空資料庫引擎HBase Ganos上線,場景、功能、優勢全解析

阿里雲時空資料庫引擎HBase Ganos上線,場景、功能、優勢全解析

隨著全球衛星導航定位系統、感測網、移動網際網路、IoT等技術的快速發展,越來越多的終端裝置連線至網路,由此產生了大規模的時空位置資訊,如車輛軌跡、個人軌跡、群體活動、可穿戴裝置時空位置等。這些資料具有動態變化(資料寫入頻繁)、時空多維、規模巨大、價值隨時間推移而衰減、空間搜尋和時序查詢相結合等特徵,這對傳統資料庫帶來了新的挑戰。

2018年12月13日,伴隨阿里雲HBase全新發布X-Pack全託管NoSQL資料庫平臺,HBase Ganos時空資料庫引擎正式上線。Ganos取名於大地女神蓋亞(Gaea)和時間之神柯羅諾斯(Chronos),代表著“時空” 結合。HBase Ganos以阿里雲飛天作業系統為強大底座,結合雲HBase新一代KV、時序、時空、圖多模資料綜合處理能力以及雲上Spark大資料分析計算服務,為迎接線上時空全量大資料應用構築PaaS(Platform-as-a-Service)平臺能力。

1、適用場景舉例

網際網路出行

網際網路出行涉及到運力的排程、拼車、供需預測、熱力圖等業務。以供需預測為例,基於對歷史軌跡資料的分析,並結合實時訂單資料,預測當前訂單密集區域的分佈,提高接單概率並減少司機空駛時間。這背後涉及到大量時空型資料和業務資訊的快速讀取,並結合業務演算法進行預測,利用HBase Ganos可有力支援該業務場景。

IoT

IoT行業產生的資料兼具時序和空間特徵。以車聯網為例,海量的車輛終端在不斷地產生軌跡資料,軌跡資料包含了時間和空間位置。利用HBase Ganos,實時監測車輛的行駛軌跡、是否偏航、是否進入某個限制區域等。除了實時監控外,還可以進行實時時空查詢,如查詢某段時間的軌跡,某段時間進入該區域的車輛等。結合大資料分析框架(如Spark)還可以進行穿越分析、區域分佈熱力圖等。

智慧物流與外賣遞送

在物流與外賣等領域,需要實時監控車輛、騎手的位置,以便進行可靠的時間預測等服務。車輛和騎手的位置需要實時上報,雲端需要處理高併發寫入並進行實時路徑規劃、偏航監測等計算,背後都需要大量的時空計算。 

感測網與實時GIS

在環保、氣象、水利、航空監測等領域,需要通過各種感測器獲取天、空、地、海不同地理現象、事件、要素的全生命週期多尺度監測指標,比如汙染監測、水位監測、降雨量監測、航標監測等。HBase Ganos可以為構建實時GIS大資料應用提供穩定、可靠、彈性、免運維的PaaS服務,為地理國情常態化監測和智慧城市建設提供基礎平臺。

2、HBase Ganos

主要功能與特性

PB級時空資料儲存與高併發寫入

基於阿里雲HBase儲存計算分離和完全分散式系統架構, Ganos引擎可支撐TB-PB級時空資料的儲存與管理需求,且儲存節點可彈性擴充套件。針對GNSS、感測網、移動APP等千萬甚至上億終端的資料採集,HBase Ganos在提供高效時空索引的同時,結合HBase LSM模型,可滿足高併發資料寫入需求,其中一個最小的HBase Ganos叢集節點寫入速度可達到數十萬QPS,資料規模可達千億記錄級別。

遵循OpenGIS標準規範,支援多種空間資料型別與訪問介面

引擎遵循OpenGIS標準規範,支援完備的時空點、線、面等常用資料結構,這些資料結構可對應於現實中的POI興趣點、道路與車輛軌跡、地理圍欄等。常見的地理圍欄判斷、軌跡資料查詢與計算、空間搜尋等均可完美支援。介面層面上,提供了多種訪問方式,包括基於GeoTools API的訪問、支援GeoJson作為時空資料結構的REST API、以及即將推出的GeoSQL支援,可最大程度相容不同使用者需求。

高效的時空索引與演算法分析包

引擎以Z-Order、Hilbert等空間填充曲線為基礎,支援二維和三維時空索引,百億量級的時空條件查詢可到秒級,完全能夠滿足海量時空資料的線上處理業務需求。此外,針對常用的時空分析場景,引擎在HBase中內嵌了軌跡抽稀、軌跡相似度計算、密度圖等分析演算法包,可充分利用HBase協處理器等技術帶來的並行優勢,加快查詢效能、減輕業務層程式碼量。

e029a09379e63d1bf25a19d0a38bad42609e9f17

結合流式計算引擎支撐實時大資料處理

為了滿足對實時資料分析計算需求,HBase Ganos流資料處理框架基於Lambda架構設計開發,融合了不可變性、複雜性隔離和讀寫分離等一系原則,具備低延時、高容錯、易於擴充套件等特性。資料接入層面,支援Kafka等訊息中介軟體的實時接入,將基於事件的資料流直接轉換到內部資料來源。資料分析層面,與Spark Streaming或Flink流資料引擎無縫整合,具備了實時地在任意大資料集上進行資料流查詢分析的能力,幫助使用者隨時隨地快速準確地應對複雜的實時資料處理場景。

3、雲上大規模時空資料處理的優勢

K-V、時序、時空、圖多模型(Multi-Model)助力綜合業務場景建模

對於網際網路和政企客戶而言,時空場景雖然是一種重要業務型別,但要支撐好複雜業務系統開發,更多時候需要具備多模型支撐能力。針對這類業務系統,阿里雲HBase X-Pack提供了強大的多模式處理能力,不僅支援時空,還支援K-V、時序和圖模型等,每一類模型都內建有豐富資料處理能力。Ganos作為其中的時空資料引擎,能夠與其他引擎結合,做到開箱即用,滿足使用者多維度的查詢分析需求,讓業務開發效率大幅提升。 

冷熱混合儲存,助你不改程式碼,1/3成本輕鬆搞定冷資料處理

時空大資料應用場景下,儲存成本佔比往往是大頭,把儲存成本降下來,整體成本才能下降。針對時空資料的價值隨時間而衰減的特性,提供了將訪問量極少,訪問延遲要求不高的歷史資料按規則(比如一個月之前的資料)自動轉儲到阿里雲OSS冷儲存介質中,其儲存成本可下降為高效雲盤的1/3,寫入效能與雲盤相當,並能保證資料隨時可讀,從而降低儲存成本,基本不用改程式碼就獲得了低成本儲存能力。

全託管,全面解放運維,為業務穩定保駕護航

大資料應用往往涉及元件多、系統龐雜、開源與自研混合,因此維護升級困難,穩定性風險極高。雲HBase Ganos提供的全託管服務相比其他的半托管服務以及使用者自建存在天然的優勢。依託持續8年在核心和管控平臺的研發,以及大量配套的監控工具、跨可用區、跨域容災多活方案,Ganos的底層核心阿里雲HBase提供目前業界最高的4個9的可用性(雙叢集),11個9的可靠性的高SLA的支援,滿足眾多政企客戶對平臺高可用、穩定性的訴求。

4、HBase Ganos實操使用途徑

Ganos時空引擎包含SQL版和NoSQL版,此次釋出的HBase Ganos為NoSQL版,主要服務於線上全量時空大資料應用。引擎包含在HBase 2.0版本中,使用者在購買雲上HBase資料庫服務時,可以選擇Ganos作為其時空引擎。Ganos引擎本身並不額外收費,這對於需要使用GIS或時空大資料功能的使用者而言,將大幅降低應用和開發成本。Ganos將逐步沉澱基礎時空雲端計算能力到雲端計算基礎平臺,賦能ISV廠商,推動時空雲端計算作為數字化轉型的基礎引擎普惠到更多客戶。 

瞭解更多關於阿里云云資料庫HBase及時空引擎Ganos請戳連結:

產品入口:https://cn.aliyun.com/product/hbase?spm=5176.224200.100.35.7f036ed6YlCDxm

幫助文件:https://help.aliyun.com/document_detail/87287.html?spm=a2c4g.11186623.6.618.784a25c3YnkiqW

有任何疑問或諮詢,可掃碼入群或關注微信公眾號

 76ec2bf8b43a94a041d331d3da89af52a4fe2f49          35ea8636be257d4367e9ab79c18a1345f8069db6     

       雲棲社群時空雲端計算釘釘群                      微信公眾號