1. 程式人生 > >雙11奇跡背後的大數據平臺,不喧嘩,自有聲!

雙11奇跡背後的大數據平臺,不喧嘩,自有聲!

sql ESS nag 並且 ddd 調度 2016年 鍵盤 業務

摘要: 大數據技術時代,企業爭相數字化轉型,任何成功項目的背後,離不開數據平臺的支撐,更別說2135億的大項目,這背後的數據平臺要多健壯,多安全,多穩定?

00:02:05 成交額超100億
00:57:56 成交額超666億
01:47:26 成交額超1000億
15:49:39 成交額超1682億
22:28:37 成交額超2000億

2018年雙11新紀錄2135億
技術分享圖片

高速跳轉的數字,不斷刷新的狀態,光纜中狂奔的代碼,鍵盤上飛舞的手指…

新的記錄
絕非十年前的記錄
也非2017年的記錄

是產品專家緊抓不放的記錄
是技術專家誓要征服的記錄

是方案冷靜的記錄
是技術求精的記錄
是框架穩定的記錄
是系統健壯的記錄

數據平臺,計算創造價值

2004年,為了從大數據中分析當前狀況,並預測未來的趨勢,阿裏擁有了第一個大數據倉庫,到2008年,淘寶的業務量與數據量已達到2004年的數千倍,為了讓數據成為生產資料,從底層重構大數據技術就顯得尤為重要。

2010年春,大數據引擎MaxCompute的前身SQL Engine第一版上線,運行在當時30臺機器的飛天集群上。

2011年,飛天團隊開始探索支撐集團內部數倉業務,在1500臺機器上並行運行雲梯2的生產作業,並取得了不輸於Hadoop的性能和穩定性成績。

飛天5K項目之後,MaxCompute隨之進入5000臺機器和跨機房調度時代,並且可以在377秒完成100TB的排序。

現在,MaxCompute已經成為阿裏巴巴的主力計算平臺,阿裏巴巴集團99%的數據存儲以及95%的計算能力使用MaxCompute;每天有超過500萬個作業在平臺上運行。

2018完美支撐全球“最猛”交易洪峰

通過MaxCompute引擎助力,從2014年雙11開始,千人千面成為常態。MaxCompute作為11項目背後大規模計算的秘密武器,承受住了雙11期間大規模集群、海量數據、高並發量的極大考驗。

MaxCompute單日數據處理量從2015年100PB,2016年180PB,到2017年320PB,再到2018年的單日處理超過500PB,不斷挑戰新極限,不斷刷新新紀錄。同時MaxCompute平穩支撐電商混布單元在線流量洪峰12萬筆/s交易,穩定承載45%導購流量,順利完成1200臺DB業務混部的目標,為雙11交易峰值提供了有力保障和平滑支撐。

雙11期間,除了天貓、淘寶、阿裏集團之外,MaxCompute還為金融、支付、新零售等各行業提供強有力的計算服務。

阿裏大數據計算能力,走出集團服務全球

幾年過去,通過大數據與人工智能算法的結合,MaxCompute已成為ET大腦最重要的組成部分,ET城市大腦自動指揮城市路口信號燈,並且成功應用於馬來西亞的交通治理;ET工業大腦推動工廠取得更好的良品率,致力於幫助制造企業提升1%的良品率。

從數字化阿裏到數字化城市,MaxCompute可以承載EB級的數據存儲能力,成為全球首個100TB規模Bigbench測試通過的大數據計算平臺;在公共雲上覆蓋國內外的十幾個國家和地區,專有雲上部署超過100+套。

MaxCompute不只是單一引擎,更是面向企業的完整服務。過去的10年中,MaxCompute穩定支撐阿裏集團所有數據業務的同時,早已將強大的數據能力普惠給廣泛的雲上企業。基於MaxCompute構建穩定、安全、可擴展及與應用系統高效交互的數據中臺,已成為眾多行業下客戶數字轉型的首選方案。

從線上到線下,從生產制造到互聯網電商,從國內到海外,MaxCompute的計算能力正在延伸到各行各業,極大地降低了社會的計算成本。

每一次挑戰,都讓MaxCompute站在新的起點,不喧嘩,自有聲,壯誌在胸。

技術分享圖片

雙11奇跡背後的大數據平臺,不喧嘩,自有聲!