一、簡介

Apache Kylin™是一個開源的、分散式的分析型資料倉庫，提供Hadoop/Spark 之上的 SQL 查詢介面及多維分析（OLAP）能力以支援超大規模資料，最初由 eBay 開發並貢獻至開源社群。之所以說它是國人之光，是因為它是首個由國人主導的Apache頂級開源專案，能在亞秒內查詢巨大的表。 

二、基本概念

先了解一下幾個概念，如下有一張表

ID	客戶號	交易日期	交易型別	金額
1	001	20201230	工資代發	1000000
2	002	20210101	轉賬	66666
3	003	20210115	信用卡還款	1888

查詢某個客戶在哪個時間進行某種交易的金額，這種是多維分析，其中客戶號、交易日期和交易型別是維度（Dimensions），金額是度量（Measures）。

根據表格中三個維度一個度量，可以畫出如下圖形 對於一個多維模型，在查詢上有多種組合，比如一維的：客戶號/交易日期/交易型別二維的：客戶號+交易日期/客戶號+交易型別/交易日期和交易型別三維的：客戶號+交易日期+交易型別對於每一種組合，稱之為Cuboid，這這些組合的統一，則是Cube。Cube定義了使用的模型、模型的維度和度量等資訊。

三、作用及原理

有些讀者就要說了：概念講了一堆，就是不說它到底為什麼出現，解決什麼問題，難怪閱讀量這麼少 別急，這不就準備講了嘛。Kylin是為減少在Hadoop/Spark上百億規模資料查詢延遲而設計的。 對於效率要求較高的大規模資料集的查詢，尤其多維查詢的時候，資料倉庫中一般存在事實表和維度表，需要關聯很多維度表，這就給查詢帶來一定的壓力，查詢效率低下。為了解決這個問題，Kylin應運而生。 但是Kylin為什麼快呢？ 主要是因為它的預計算，它將多維分析可能用到的度量進行預計算，將計算好的結果儲存成Cube並存儲到HBase中，供查詢時直接訪問。說到底就是用空間換時間。 大致流程：將資料來源(比如Hive)中的資料按照指定的維度和指標，由計算引擎MapReduce離線計算出所有可能的查詢結果(即Cube)儲存到HBase中。HBase中每行記錄的Rowkey由各維度的值拼接而成，度量會儲存在column family中。為了減少儲存代價，會對維度和度量進行編碼。查詢階段，利用HBase列儲存的特性就可以保證Kylin有良好的快速響應和高併發。

四、Kylin的架構 

Kylin的架構主要有這幾個部分： 源資料：Hive、Kafka、RDBMS等； 對外查詢介面：REST API、JDBC/ODBC； 儲存引擎：HBase； 構建Cube的計算引擎。  其中構建Cube的計算引擎模組如下： REST Server：是一套面向應用程式開發的入口點，旨在實現針對Kylin平臺的應用開發工作。 Query Engine：當cube準備就緒後，查詢引擎就能夠獲取並解析使用者查詢。 Routing：查詢路由，負責將解析的SQL生成的執行計劃轉換成cube快取的查詢，若查詢沒辦法從cube快取中獲取，則下壓至資料來源進行查詢。 Metadata：Kylin是由元資料驅動的。元資料管理工具是一大關鍵性元件，用於對儲存在Kylin當中的所有元資料進行管理，其中包括最為重要的cube元資料。 Cube Build Engine：這套引擎的作用在於處理所有離線任務。

五、總結

本文大概介紹了Kylin以及一些相關的概念和原理、架構。更多內容可以去Kylin 官網進行了