Kylin的簡介與安裝部署
一.Kylin的概述
官方網址：http://kylin.apache.org/cn/
Apache Kylin™是一個開源的分散式分析引擎，提供Hadoop/Spark之上的SQL查詢介面及多維分析（OLAP）能力以支援超大規模資料，最初由eBay Inc. 開發並貢獻至開源社群。它能在亞秒內查詢巨大的Hive表。
二.Kylin的安裝
1.安裝環境準備
1）軟體要求
- Hadoop: 2.7+, 3.1+ (since v2.5)
- Hive: 0.13 - 1.2.1+
- HBase: 1.1+, 2.0 (since v2.5)
- Spark (可選) 2.1.1+
- Kafka (可選) 0.10.0+
- JDK: 1.8+ (since v2.5)
- OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+
2）硬體要求
執行 Kylin 的伺服器的最低的配置為 4 core CPU, 16 GB memory 和 100 GB disk。 對於高負載的場景，建議使用 24 core CPU, 64 GB memory 或更高的配置。
3）Hadoop 環境
Kylin 依賴於 Hadoop 叢集處理大量的資料集。您需要準備一個配置好 HDFS, YARN, MapReduce, Hive, Hbase, Zookeeper 和其他服務的 Hadoop 叢集供 Kylin 執行。最常見的是在 Hadoop client machine 上安裝 Kylin，這樣 Kylin 可以通過（hive
hbase, hadoop, 以及其他的）命令列與 Hadoop 進行通訊。
Kylin 可以在 Hadoop 叢集的任意節點上啟動。方便起見，您可以在 master 節點上執行 Kylin。但為了更好的穩定性，我們建議您將其部署在一個乾淨的 Hadoop client 節點上，該節點上 hive, hbase, hadoop, hdfs 命令列已安裝好且 client 配置如（core-site.xml, hive-site.xml, hbase-site.xml, 及其他）也已經合理的配置且其可以自動和其它節點同步。執行 Kylin 的 Linux 賬戶要有訪問 Hadoop 叢集的許可權，包括 create/write HDFS 資料夾, hive 表, hbase 表 和 提交 MR jobs 的許可權。
2.Kylin單機安裝
1）下載
這裡下載最新的適用於 HBase 1.x 的 Kylin 2.5.0
[[email protected] software]$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.5.0/apache-kylin-2.5.0-bin-hbase1x.tar.gz
2）解壓
解壓 tar 包
[[email protected] software]$ tar zxvf apache-kylin-2.5.0-bin-hbase1x.tar.gz -C /opt/module/ [[email protected] software]$ cd /opt/module/ [[email protected] module]$ mv apache-kylin-2.5.0-bin-hbase1x kylin-2.5.0-bin-hbase1x
然後配置環境變數 KYLIN_HOME 指向 Kylin 資料夾
[[email protected] kylin-2.5.0-bin-hbase1x]$ sudo vi /etc/profile export KYLIN_HOME=/opt/module/kylin-2.5.0-bin-hbase1x export PATH=$PATH:$KYLIN_HOME/bin [[email protected] kylin-2.5.0-bin-hbase1x]$ . /etc/profile
檢查安裝環境,如果環境有任何的問題，它會將打印出詳細的資訊。如果沒有 error，意味著環境沒問題。
[[email protected] kylin-2.5.0-bin-hbase1x]$ ./bin/check-env.sh Retrieving hadoop conf dir... KYLIN_HOME is set to /opt/module/kylin-2.5.0-bin-hbase1x
3）啟動Kylin
先啟動叢集各個服務，然後執行 $KYLIN_HOME/bin/kylin.sh start 指令碼來啟動 Kylin，伺服器啟動後，您可以通過檢視 $KYLIN_HOME/logs/kylin.log 獲得執行時日誌。
[[email protected] kylin-2.5.0-bin-hbase1x]$ ./bin/kylin.sh start Retrieving hadoop conf dir... KYLIN_HOME is set to /opt/module/kylin-2.5.0-bin-hbase1x Retrieving hive dependency... Retrieving hbase dependency... Retrieving hadoop conf dir... Retrieving kafka dependency... Retrieving Spark dependency... ... A new Kylin instance is started by root. To stop it, run 'kylin.sh stop' Check the log at /opt/module/kylin-2.5.0-bin-hbase1x/logs/kylin.log Web UI is at http://<hostname>:7070/kylin-bash-4.1#
4）WebUI檢視
- Kylin 啟動後您可以通過瀏覽器 http://hostname:7070/kylin 檢視。初始使用者名稱和密碼是 ADMIN/KYLIN。
- 執行
$KYLIN_HOME/bin/kylin.sh stop指令碼，停止 Kylin。
3.Kylin叢集安裝