揭秘阿裏雲EB級大數據計算引擎MaxCompute
日前,全球權威咨詢與服務機構Forrester發布了《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》報告。這是Forrester Wave首次發布關於雲數倉解決方案(Cloud Data Warehouse,簡稱CDW)的測評。報告對雲數倉的當前產品功能、產品路線和發展策略、市場表現等幾個方面進行全面的評估,在產品能力排行榜中,阿裏雲力壓微軟排行第7。
Forrester測評報告對CDW核心功能的評估主要從解決方案的多樣性、數據集成、性能和彈性擴展、安全性等方面進行,Forrester給出的評價是:阿裏雲(MaxCompute+DataWorks+ADB)在廣泛的基礎設施之上提供了一個可靠的數據分析平臺,能夠滿足客戶實時和EB規模的數據處理需求。此前媒體已經報道了DataWorks的相關細節,今天我們就來聊聊MaxCompute。
EB級數據處理能力
首先來看一組數據。
2018年雙11,MaxCompute單日數據處理超過600PB,平穩支撐電商混布單元在線流量洪峰12萬筆/s交易,穩定承載45%導購流量,為雙11交易峰值提供了有力保障和平滑支撐。
根據官方介紹,MaxCompute是一種快速、完全托管的數據倉庫解決方案,通俗地理解就是大型分布式數據計算,所以大規模計算是最基礎的能力。MaxCompute已經是阿裏巴巴的主力計算平臺,支持了整個阿裏巴巴集團內部99%的大數據存儲和95%的計算,數據規模已達到EB級,上文提到的雙11場景就很好地體現了規模這能力。
當然,它和傳統 Hadoop 相比還有其它的優勢。MaxCompute 向用戶提供了完善的數據導入方案以及多種經典的分布式計算模型,能夠更快速的解決用戶海量數據計算問題,有效降低企業成本,並保障數據安全。
整體來說有如下特點:
● MaxCompute在計算引擎、分布式存儲上做了優化,在Sort Benchmark中MaxCompute消耗的時間和成本都是最低,保證了最優性價比。
● 服務器資源、集群規模都是動態的彈性拓展,無需用戶關心。
● 支持SQL、MR、叠代計算、內存計算、圖計算等計算模型。
經歷了大規模應用實踐
據了解,目前MaxCompute正在為全球企業提供大數據計算能力。阿裏巴巴通用計算平臺負責人關濤曾表示,“在公共雲上,MaxCompute每年以250%的用戶量和計算量在增長,並在全球十幾個國家和地區部署服務,為當地企業提供計算力。”
例如,城市大腦的底層就在使用
不僅如此,MaxCompute在各大行業已經有廣泛應用:
天氣預測有著廣泛的需求群體,每天幾億次的天氣查詢需求和近幾十億次的廣告請求, MaxCompute則很好地應對了這一挑戰。MaxCompute幫助墨跡天氣實現了對每天上億用戶的天氣查詢需求的快速響應和幾十億次廣告請求的精準投放。 互聯網保險行業,MaxCompute幫助眾安實現精準的用戶畫像分析,助力企業為數億用戶提供數十億的保單服務,提升企業效率的同時,為億萬用戶送去健康與安全。
總而言之,只要有海量數據處理需求的場景,MaxCompute都能通過阿裏雲為用戶提供快速、穩定的計算能力。
結語
從Forrester的本次研究報告可以看出,大數據技術已經進入CDW階段,在廣泛的基礎設施之上提供一個可靠的數據分析平臺,滿足客戶實時和大規模數據計算成為核心需求。
MaxCompute作為大數據計算平臺,不只是單一引擎,更是面向企業的完整服務。在過去10年中,MaxCompute穩定支撐阿裏集團所有數據業務的同時,早已將強大的數據能力普惠給廣泛的雲上企業。基於MaxCompute構建穩定、安全、可擴展及與應用系統高效交互的數據中臺,已成為眾多行業下客戶數字轉型的首選方案。
閱讀原文 更多技術幹貨 請關註阿裏雲雲棲社區微信號 :yunqiinsight
揭秘阿裏雲EB級大數據計算引擎MaxCompute