阿裏巴巴下一代雲分析型數據庫AnalyticDB入選Forrester Wave? 雲數倉評估報告
前言
近期, 全球權威IT咨詢機構Forrester發布"The Forrester WaveTM: CloudData Warehouse Q4 2018"研究報告,阿裏巴巴分析型數據庫(AnalyticDB)成功入選 !AnalyticDB作為阿裏巴巴自主研發的PB級實時雲數據倉庫,全面兼容MySQL協議以及SQL:2003 語法標準,可以毫秒級針對萬億級數據進行即時的多維分析透視和業務探索,幫客戶將整個數據分析和價值化從傳統的離線分析帶到下一代的在線實時分析模式。本文將深入解讀AnalyticDB成功入選背後的核心產品以及帶來的客戶價值。
核心能力一:快和實時
分析型數據庫AnalyticDB在瞬間即可對萬億級別的數據進行實時的多維度分析透視,快速發現數據價值。AnalyticDB對復雜SQL查詢速度相比傳統的關系型數據庫快10倍,此外,AnalyticDB還可以快速擴容至數千節點的超大規模,進一步提升查詢響應速度。三大模塊合力構築了遠遠領先競爭對手的性能優勢:
智能SQL優化器:針對復雜的SQL查詢,AnalyticDB的SQL Optimizer 實現了多種查詢改寫優化,同時依據統計信息選擇JOIN ORDERING最優路徑,並支持 CTE 歸並等功能。同時針對高並發低延遲查詢,提供智能的 Plan cache,將相似SQL Pattern 計劃都緩存起來,規避重復優化開銷。
曦和計算引擎: AnalyticDB 在2017年全面升級為新一代曦和分布式計算引擎,整體采用MPP架構,並支持DAG計算模型,節點內引入LLVM等運行時編譯優化JIT技術,性能提升一倍以上。數據分析任務在曦和計算引擎內被打散成小顆粒的計算單元,引擎內置分時輪詢的計算調度機制,可以保證高並發下作業任務的穩定運行。
玄武存儲引擎:AnalyticDB支持行列混合存儲,同時針對不同的數據類型,當數據實時寫入時,智能的構建多種維度索引,包括B+索引、區間索引、倒排索引、位圖索引等,並對傳統索引算法進行創新,引入動態過濾、延遲物化等方式,極大的降低I/O,實現高性能的點或範圍的檢索,支持千億級記錄關聯分析。
核心能力二:超大規模
AnalyticDB是全分布式結構,使得數據庫支持ECU節點動態線性擴容至數千節點。用戶可以通過橫向擴容來大幅度提升查詢SQL響應速度、以及換來SQL處理高並發。 AnalyticDB 基於阿裏雲飛天系統構築,AnalyticDB采用分層解耦架構,同時將分析計算、數據寫入、索引構建等分離為不同節點,同時各種類型節點采用多活運行模式實現高可用,數據存儲在盤古分布式文件系統上,實現高可靠和高性能讀寫I/O,在整體架構上實現了彈性擴展和高可用。AnalyticDB架構上每一層結構,都充分的考慮了規模化擴展性問題。
核心能力三:高並發實時寫入和更新
由於無論是前端接入層、寫入節點支持動態大規模擴展,客戶可以從最小規模的10萬TPS寫入能力,通過橫向擴容節點提升至1000萬+TPS的寫入能力,實時寫入後,數據秒級別可見,從寫入到分析整個數據延遲控制在秒級。
單個表最大支持PB級數據,十萬億記錄,傳統的數據倉庫通常是離線Load數據模式,不具備實時高並發寫入能力。正是由於具備海量數據實時寫入能力,AnalyticDB數據分析時效性非常高,是企業數據離線計算轉實時化的下一代核心解決方案。
核心能力四:靈活
AnalytiDB無論是前端接入層還是彈性計算層、以及數據存儲層均是全分布式設計,全局無單點。外加存儲計算分離結構,帶來的優勢是極度靈活。雲上客戶不僅可以隨時進行靈活調整節點數量,還可以做實例規格的動態升降配。AnalytiDB同時支持在存儲型的SATA實例和高性能的SSD實例間靈活切換。
舉例來說: 可以從8個高性能的c4實例升到12個高性能的c8實例,或從12個c8降到8個c4,甚至從2個高性能c8節點切換至4個大存儲SATA的s2n等,企業可以真正做到靈活控制成本。
核心能力五:易用
AnalyticDB作為雲端托管的PB級SQL數據倉庫,高度兼容MySQL協議和SQL:2003,通過標準SQL和常用的BI工具、以及ETL工具平臺即可輕松使用。同時結合阿裏雲數據傳輸服務(DTS) + 數據可視化配套(Datav & QuickBI), 輕松拖拽式即可完成企業的實時數據倉庫建設。AnalyticDB旨在幫助企業降低實時數據化運營的建設門檻。
為企業解決數據化建設效率和性能難題
遞四方集團(4PX)是領先的跨境電商物流服務提供商。遞四方信息科技團隊在建設了多年的離線數據平臺後,需要短時間內建設PB級別實時數據平臺支持數字化運營。遞四方信息科技在調研了一系列的解決方案後,綜合成本和建設效率等因素,最後選擇了基於AnalyticDB來構建實時數據平臺。 雙方通力合作,在極短時間內通過
DTS+AnalyticDB+DataV/QuickBI套件,以簡單快速的拖拽配置方式完成了4PX企業實時數倉的初期基礎建設。
無他相機作為一款流行的拍照智能App, 有各種用戶和App數據需要上報做實時分析,以幫助運營人員做活動效果分析以及開發人員做App分析,不斷優化用戶體驗和App質量。數據總量約100億,需實時入庫更新,客戶最早期的方案是MySQL,後續換成了MongoDB,解決了實時寫入問題,但是分析性能巨慢。在使用了分析型數據庫的存儲型實例後,將業務數據直接寫入AnalyticDB,不但解決了實時高並發寫入問題,復雜分析性能從40分鐘+降低到秒級別,高分期QPS 1800+。
典型行業客戶-他們也在使用AnalyticDB
展望未來:儲備更多創新力量 + 構築更豐富的生態
分析型數據庫AnalyticDB,作為阿裏巴巴下一代PB級實時數據倉庫, 承載著整個集團內和雲上客戶的數據價值實時化分析的使命。此次報告可以看出,整個大數據企業服務邁入CDW階段,靈活、易用、自助化服務成為主流趨勢,AnalyticDB接下來將在易用性、數據通道、任務管理、可視化等周邊生態建設上繼續做廣、做深。同時也為未來儲備了一些核心力量,並取得階段性的進展:
分析型數據庫AnalyticDB首次在“雙11 全球狂歡節” 采用GPU加速加速技術,在計算成本大幅降低的情況下,服務全球商家將數據分析從離線進入在線時代,支撐PB級數據從T+1計算提速到秒級實時分析。
向量分析首次支撐銀泰、盒馬等新零售場景的人臉識別、算法推薦、結構化數據實時融合分析,毫秒級打通線上線下會員體系,支撐實時數據化線下互動、營銷。
AnalyticDB為數據價值在線化而生,作為實時雲數據倉庫平臺,希望能將最領先的下一代實時數倉能力普惠給所有企業,幫助企業轉型加速數據價值探索和在線化。
查的慢,就用AnalyticDB!
阿裏巴巴下一代雲分析型數據庫AnalyticDB入選Forrester Wave? 雲數倉評估報告