1. 程式人生 > >Alluxio 在京東Ad Hoc平臺的應用--對JDPresto的加速

Alluxio 在京東Ad Hoc平臺的應用--對JDPresto的加速

京東adhoc平臺自2017年開始使用alluxio,目前已部署超過500個物理節點,每天載入超過70T的資料,alluxio為adhoc平臺部分Presto應用帶來了10X的效能提升和穩定的亞秒級查詢體驗;基於alluxio實現獨立的shuffle service服務,根據任務級別和任務型別(Spark,MR)決定shuffle資料儲存等級(RAM,SSD,HDD)

張芒,京東大資料平臺計算引擎負責人,2015年加入京東,主要負責adhoc平臺的搭建、架構升級及日常維護工作。開源軟體愛好者,目前是Hadoop,Hive,Presto,Alluxio的Contributer














原文https://www.slidestalk.com/s/JD_Presto_On_Alluxio_2018