CDH中 Apache Kylin使用spark引擎構建Cube
阿新 • • 發佈:2019-02-10
簡介
Kylin v2.0引入了Spark引擎,可以在構建Cube步驟中替換MapReduce,目前還是beta版本,以下是配置步驟。
配置步驟
1.在kylin的安裝目錄下,新建目錄hadoop_conf
mkdir $KYLIN_HOME/hadoop_conf
2.將core-site.xml,hdfs-site.xml,hbase-site.xml,hive-site.xml,yarn-site.xml 5個配置檔案放入剛才建立的目錄。
(如果使用的是Apache的Hadoop,hbase,hive等,去配置檔案目錄複製或者建立軟連線,我使用的是CDH管理叢集,那麼配置檔案 就在/etc/hadoop/conf,/etc/hive/conf,/etc/hbase/conf路徑下,直接複製過去)
cp /etc/hadoop/conf/hdfs-site.xml $KYLIN_HOME/hadoop_conf
cp /etc/hadoop/conf/yarn-site.xml $KYLIN_HOME/hadoop_conf
cp /etc/hadoop/conf/core-site.xml $KYLIN_HOME/hadoop_conf
cp /etc/hbase/conf/hdfs-site.xml $KYLIN_HOME/hadoop_conf
cp /etc/hive/conf/hdfs-site.xml $KYLIN_HOME/hadoop_conf
3.修改kylin.properties,新增以下配置(這裡寫hadoop-conf的全路徑,路徑根據自己hadoo_conf目錄所在位置決定)
kylin.env.hadoop-conf-dir=/opt/apache-kylin-2.1.0-bin-cdh57/hadoop_conf
4.重啟kylin
bin/kylin.sh stop
bin/kylin.sh start
注:1.如果直接使用bin/kylin.sh restart重啟,有可能配置會不生效,我就遇到了,用上面的方式重啟就沒問題
2.在kylin的web頁面上,有system選項卡,裡面有reload config,本來我以為修改配置檔案後可以點選此按鈕,不用重啟,但是實驗證明這樣配置也無法生效。所以保險的方法就是按照上面的方式重啟。
5.下面是官方,關於配置spark引擎的文件,給出連結以便查閱