MaxCompute 中的Code Generation技術簡介
前言
在《數據庫系統中的Code Generation技術介紹》中，我們簡單介紹了一下Code Generation技術及其在大規模OLAP系統，特別是大規模分布式OLAP系統中的重要性。MaxCompute采用了Code Generation技術來提高計算效率。在MaxCompute2.0中，我們又引入了基於LLVM的JIT(Just In Time) Code Generation技術。結合向量化的執行引擎，基於SIMD技術的執行效率優化等方式，較之MaxCompute 1.0，MaxCompute 2.0在性能方便有了較大的提升，具體可以參照《MaxCompute2.0性能評測：更強大、更高效之上的更快速》。
MaxCompute 1.0中的Code Generation
如上圖，MaxCompute 1.0采用了靜態的Code Generation技術，工作主要在MaxCompute控制集群中名為“Executor”的角色上完成。其流程如下：
用戶的SQL語句在Executor上經過Parsing和Optimization之後，生成對應的查詢計劃。
Executor調用g++將“mapred.cpp”編譯成一個動態庫，並將其下發到計算集群中的每一個Worker上。
被調度起來的Worker會Load該動態庫，調用相應的Process()方法以完成計算邏輯。
可以看到，利用Code Generation技術，對於每一個SQL來說執行時代碼都是經過定制的，因此執行效率較傳統的Volcano Model更好。但是，其中也有一些問題。
生成的動態庫在控制集群和計算集群之間傳輸也會有帶來一定的網絡開銷。因為這個動態庫的與SQL邏輯緊密相關的，因此無法復用，因此每個SQL都會經歷編譯，下發的過程，在任務提交比較頻繁的情況下，控制集群的穩定性會收到一定挑戰。
因為較高的編譯時開銷，這種Code Generation的方式在處理復雜的語句加中小數據規模查詢的場景，比如service mode下，overhead太大。
MaxCompute 2.0中的Code Generation
MaxCompute 2.0采用了基於LLVM的JIT Code Generation技術。所謂JIT，就是程序在運行期間根據需要動態生成相應的機器指令。這樣，整個Code Generation的工作由控制集群移交到了真正執行計算邏輯的計算集群各個Worker上。其流程如下：
和MaxCompute 1.0中一樣，用戶的SQL語句在Executor上經過Parsing和Optimization之後，生成對應的查詢計劃。
查詢計劃直接被發送到計算集群各個Worker上。
MaxCompute 2.0執行引擎的Code Generation模塊Load查詢計劃，並利用LLVM C++ API生成相應的機器碼。Code Generation模塊返回一個函數指針作為調用的入口。
Worker通過調用Code Generation模塊返回的函數指針以完成計算邏輯。
與MaxCompute 1.0相比，MaxCompute 2.0中Code Generation速度有明顯提升。在1.0中，一個SQL的平均Code Generation耗時大概在2-3s左右，這個時間在2.0中被縮短到100 - 200ms。因為在2.0中Code Generation都在計算集群的Worker上完成，因此相對來說減輕了控制集群的壓力，有助於MaxCompute控制集群的穩定性。此外，因為MaxCompute 2.0的執行引擎是復用的（不因為SQL不同而不一樣），因此無需像1.0中一樣，在控制集群與計算集群之間傳輸動態庫，降低了控制集群與計算機群之間的網絡負載。
後續工作
目前，MaxCompute 2.0 的執行引擎還是以Volcano Model為基礎。只是在Volcano Model中各個算子之間以Batch模式傳遞數據，並且以列式執行的方式提高執行速度。基於LLVM的JIT Code Generation現在主要用在表達式計算，Streamline等熱點部分。之後，我們準備嘗試Full Stage的Code Generation, 類似http://www.hyper-db.com/。 有興趣的同學可以看看這個：http://www.vldb.org/pvldb/vol4/p539-neumann.pdf。 附件中的PDF結合了《數據庫系統中的Code Generation技術介紹》和本文的部分內容，有興趣的同學可以作為參考。
原文鏈接
閱讀更多幹貨好文，請關註掃描以下二維碼：
MaxCompute 中的Code Generation技術簡介