背景

為了應對各種資料需求，通常，我們的做法是這樣的：

1. 對於臨時性的資料需求：寫HQL到Hive裡去查一遍，然後將結果轉為excel傳送給需求人員。
2. 對於週期性的、長期性的資料需求：編寫指令碼，結合Hive跑出結果，將結果寫入對應DB庫，然後開發前端頁面對結果進行展現。

這樣做簡潔明瞭，但是，有很明顯的問題：

1. 開發成本太高。每來一個需求，不管是臨時需求還是長期需求，都需要進行定製開發，這種情況下，我們的人力深陷其中。
2. 使用不靈活。一個報表，只能進行展示，沒有分析功能，如果要進行分析，需要將資料複製到excel裡，利用excel進行處理分析，而我們的資料使用人員不一定具備這種能力。
3. 維護成本高。太多人開發報表，沒有統一口徑，沒有詳細文件，沒有人能接手。
4. 資源浪費。不同人員開發的報表，很多情況下存在很多重複計算。

在這種情況下，開始考慮構建一個多維分析平臺，提供平臺和基礎資料，資料需求方通過托拉拽的形式獲取需要的資料。本文主要記錄這方面的一些探索。

Saiku

首先，選擇使用 Saiku 作為我們的資料分析平臺，下面是 Saiku 官網對 Saiku 的介紹：

Saiku allows business users to explore complex data sources, using a familiar drag and drop interface and easy to understand business terminology, all within a browser. Select the data you are interested in, look at it from different perspectives, drill into the detail. Once you have your answer, save your results, share them, export them to Excel or PDF, all straight from the browser.

Saiku 是基於 Mondrian 開發的，Mondrian 是一款開源的 OLAP 引擎，能提供對大量資料的處理分析，但是，Mondrian 並沒有提供友好的介面，而Saiku作為另一個開源產品，很好的充當了這個角色。

Saiku 提供JDBC 和 ODBC 介面，可以連線很多的資料來源，既可以連線 MySQL、SQL Server、Oracle DB 等傳統關係型資料庫，也可以連線 Hive、Spark、Impala等 Big Data 平臺。

Saiku + MySQL

首先，我們用 Saiku+MySQL很快搭建了測試平臺，可以實現基本的多維分析，但是，僅適用於小資料量的分析，否則會有很嚴重的效能問題。

Saiku + Spark

由於 Saiku+MySQL 的效能問題，又嘗試了 Saiku+Spark 的方案，資料儲存於 Hive，分析引擎使用 Spark，在這種情況下，可以處理大資料量的查詢分析，大部分查詢都會在幾十秒到幾分鐘內返回結果，如果資料量太大，也會存在執行失敗的情況。所以，開始探索其他方案。

Kylin

Apache Kylin™ is an open source Distributed Analytics Engine designed to provide SQL interface and multi-dimensional analysis (OLAP) on Hadoop supporting extremely large datasets, original contributed from eBay Inc.

Kylin 相對於其他OLAP分析引擎，一個重要特點是採用空間換時間，根據定義的cube進行預計算，並將計算結果儲存到Hbase中，在進行查詢時，直接查詢Hbase，所以，Kylin 的查詢可以到毫秒級，效能完全不是問題。

Kylin 提供 ANSI SQL 介面來對資料進行查詢，沒有視覺化操作，所以，有一定的使用門檻。同時，由於Kylin 提供的 ANSI SQL介面，Kylin 也就可以和BI平臺進行對接，比如，Kylin 已經支援 Tableau 等BI工具，奈何 Tableau 是商業軟體，so…

Saiku + Kylin 實現多維分析  https://github.com/mustangore/kylin-mondrian-interaction

Saiku 根據使用者在頁面的操作，生成 MDX，然後，Mondrian根據MDX生成查詢語句SQL，而 Kylin 可以根據SQL 查詢 cube，快速得到結果，所以，如果 Saiku 和 Kylin 中定義了相同的 cube，那麼，就可以通過Saiku 來查詢 Kylin了，從而將 Saiku 的操作頁面和 Kylin 的高效能查詢能力結合起來。

Google 一下，Github 已經有人這麼做了，按照該專案說明就可以輕鬆搭建 Saiku+Kylin 多維分析平臺。

Saiku+Kylin 的分析平臺能實現的分析能力，很大程度取決於 Kylin 支援的 SQL 和 Mondrian 生成的 SQL的共通點，經過測試，Kylin 能對絕大多數 SQL 提供友好支援，可以和 Saiku 進行完美結合。

總結

Saiku 作為分析平臺，提供視覺化的操作，能方便的對資料進行查詢、分析，並提供圖形化顯示，但是，Saiku 有一定的使用門檻，特別是對國內的使用者來說，所以，可能需要一些定製開發。

Kylin 作為分析引擎，根據空間換時間的思想，對資料進行預計算，從而提供極高的查詢效能，並且提供 ANSI SQL 介面，可以極大程度滿足日常查詢需求。但是，Kylin 對 Hadoop 生態版本有較高的要求，所以，儘量按照官方推薦版本安裝配置。

PS：本文采用 Saiku 3.7.4 和 Kylin 1.2。