剖析 AI 和大資料的分散式實踐 —— 2018 UCan下午茶·北京站
12月16日北京,2018年UCan下午茶的收官之作 —— 主題為“迴歸雲核心,服務大資料和AI的分散式實踐”沙龍在望京浦項中心W1 Platform舉行,此次活動圍繞雲的“分散式實踐”進行了深入的討論和精彩的分享,為到場的數百名開發者帶來了一場技術盛宴。雖然天氣寒冷,但會場依然爆滿,再次證明了大家對雲端計算核心技術的熱情,是無法阻擋的。
由於是年度收官之作,本次UCan下午茶採用了Keynote和開放式演講相結合的形式,並且伴有精彩的答題活動和抽獎,新穎的形式和精彩的內容也使得會場始終保持火熱的溫度。
新一代公有云分散式資料庫——UCloud Exodus
UCloud關係型儲存研發部負責人羅成對第一個演講,他對新一代公有云分散式資料庫UCloud Exodus進行了詳細的介紹。羅成對首先介紹了UCloud雲資料庫現狀,他表示,UCloud雲資料庫於2013年上線商用、至今已經穩定運營近6年,覆蓋全球29個可用區,服務上萬家企業使用者,例項數幾萬個,資料量達到10PB+,單使用者例項數達到6k+,單使用者資料量1.8PB。
羅成對接著簡單地介紹了UCloud雲資料庫發展歷程,並指出了雲資料庫目前面臨的運營痛點,即容量、價效比、效能、相容性,而解決這四大痛點的方法,就是資料層和基礎設施層的共生複用。而UCloud Exodus就是這樣一個雲資料庫,Exodus支援最主流的開源資料庫MySQL,協議完全相容,通過融合最新軟硬體技術,包括RDMA、Skylake、SPDK、使用者態檔案系統等,基於計算儲存分離新型架構,採用UCloud最新一代高效能分散式儲存系統,計算層採用深度定製的MySQL InnoDB引擎,架構設計上支援一主多從,通過這些設計,Exodus一舉解決了雲資料庫容量、效能、價效比、相容性四大痛點。最後,羅成對介紹了Exodus(UXDB)的開發計劃,並透露該產品會在2019年Q3進行公測。
羅成對的演講結束之後,緊接著進行的就是三場同時開始的開放式演講,分別是由UCloud LabU深度學習開發工程師範融帶來的演講AI PaaS平臺實踐、UCloud資深儲存研發工程師丁順帶來的資料庫高可用容災方案設計和實現以及奧思資料創始人&CTO李明宇帶來的演講技術內幕:分散式儲存中的資料分佈演算法。會場被分成了三個演講區域,每個演講區域都是人氣滿滿,討論熱烈。
AI PaaS平臺實踐
範融在演講中,首先說明了AI場景下做PaaS面臨的挑戰,諸如AI選型、AI開發週期、應用迭代、推理環境等痛點,並總結對AI PaaS平臺的需求。針對UCloud自己做AI公有云平臺和私有云解決方案,詳細的論述了UCloud利用公有云的規模效應和分時租賃特性,降低企業的AI轉型門檻,使廣大公有云使用者提供一套開箱即用的AI開發、測試、部署的一體化環境。最後,推而廣之論述在其遷移私有云過程中的演進和未來發展。
資料庫高可用容災方案設計和實現
UCloud雲資料庫的資深研發工程師丁順,對傳統資料庫服務與高可用資料庫進行了對比,為解決資料庫宕機導致資料無法讀寫,而對運維、提供服務帶來更多便利的要求,高可用資料庫應運而生。面對高可用資料庫帶來的好處,丁順還詳細分析了業界典型高可用資料庫架構,並按照資料同步的方式進行了劃分,包括共享儲存、作業系統實時資料塊複製、基於主從的複製、基於一致性協議的複製四種資料同步的方式。
除此以外,他還詳細介紹了UCloud雲資料庫產品UDB,UDB採用經典的主從模式設計,為了提高資料一致性,採用了半同步的模式,保證可靠性。他表示大規模高可用資料庫運維中日常要進行例行巡檢、定期容災演練很有必要。運維當中對高可用容災記錄要進行全方位記錄,並且切換失敗時候要進行及時的告警。
技術內幕:分散式儲存中的資料分佈演算法
分散式儲存作為資料儲存的主流方案,而資料分佈演算法作為分散式儲存最核心的技術之一,不僅僅要考慮到資料分佈的均勻性、定址的效率,還要考慮擴充和減少容量時資料遷移的開銷,兼顧副本的一致性和可用性。李明宇介紹了幾種典型的資料分佈演算法,並詳細敘述了計算複雜度低,均勻性較好的一致性雜湊演算法。
並就這一年大火的區塊鏈技術中的資料分佈演算法進行了討論,針對雲端儲存服務、企業級儲存系統,區塊鏈儲存等不用的儲存場景,對資料分佈的需求也不盡相同,在一種演算法無法滿足所有問題的情況下,分析各演算法的優缺點,助力開發者在具體應用中可以靈活選擇。
Kyligence:釋放大資料生產力
最後一個登場的是Kyligence雲與生態合作部副總裁劉一鳴,他帶來了題為《Kyligence:釋放大資料生產力》的演講。大資料分析技術不斷湧現,海量資料處理能力與資料分析的門檻依舊很高,在查詢效能、資料建模易用性、語義模型表達能力、高併發響應等場景均存在最後一公里問題。針對資料分析生產力場景設計,劉一鳴詳細介紹了Kyligence在雲端的業務實踐。
除了乾貨滿滿的主題分享,UCloud在本次2018 UCan下午茶年終精選的場內外也準備了精彩紛呈的展區互動和抽獎環節,不僅增強了現場參會者的互動交流,更為本次沙龍增添了喜悅與歡樂。
後續深度報道,敬請關注 CSDN 公眾號(ID:CSDNnews)下週一的文章推送!
print_r('點個贊吧');
var_dump('點個贊吧');
NSLog(@"點個贊吧!");
System.out.println("點個贊吧!");
console.log("點個贊吧!");
print("點個贊吧!");
printf("點個贊吧!\n");
cout << "點個贊吧!" << endl;
Console.WriteLine("點個贊吧!");
fmt.Println("點個贊吧!");
Response.Write("點個贊吧");
alert("點個贊吧")
echo "點個贊吧!"