1. 程式人生 > >kylin2.1.0+cdh5.10.1+安裝部署+官方測試例子詳細教程

kylin2.1.0+cdh5.10.1+安裝部署+官方測試例子詳細教程

CDH環境下kylin的安裝教程

1.軟體版本介紹:  

cdh5.10.1

Kylin: 2.1.0

2.環境檢查

環境中需要啟動的角色:

Hive Metastore Server

yarnJobHistory Server

3.正式安裝

3.1 kylin2.1.0下載軟體

3.2 正式安裝

   1.移動軟體包到/usr/local/apps目錄下

mkdir /usr/local/apps

cd /usr/local/apps

mv  ~/apache-kylin-2.1.0-bin-cdh57.tar.gz ./

   2.解壓

[[email protected] apps]# tar -zxvf apache-kylin-2.1.0-bin-cdh57.tar.gz

   3.建立軟連線

     [[email protected] apps]# ln -s apache-kylin-2.1.0-bin-cdh57 kylin

   4.新增環境變數到當前使用者的bashrc:  命令:  vi  ~/.bashrc

export BASE_PATH=/opt/cloudera/parcels/CDH/lib

#added by hbase

      export HBASE_HOME=$BASE_PATH/hbase

export PATH=$HBASE_HOME/bin:$PATH

#added by HCat

export HCAT_HOME=$BASE_PATH/hive-hcatalog

#added by kylin

export KYLIN_HOME=/usr/local/apps/kylin

#added by java

export JAVA_HOME=/usr/java/latest

5.生效環境配置

[[email protected] latest]# source ~/.bashrc

6.修改kylin.properties配置檔案

[[email protected] conf]# pwd

/usr/local/apps/kylin/conf

[[email protected] conf]# vi kylin.properties

#修改

kylin.server.cluster-servers=192.168.1.201:7070

#新增配置

kylin.job.jar=/usr/local/apps/kylin/lib/kylin-job-2.1.0.jar

kylin.coprocessor.local.jar=/usr/local/apps/kylin/lib/kylin-coprocessor-2.1.0.jar

kylin.job.yarn.app.rest.check.status.url=http://192.168.1.202:8088/ws/v1/cluster/apps/${job_id}?anonymous=true

7.檢查

       [[email protected] bin]# cd /usr/local/apps/kylin/bin

執行下面檢查命令  會建立kylin目錄在hdfs

       [[email protected] bin]# ./check-env.sh

Retrieving hadoop conf dir...

KYLIN_HOME is set to /usr/local/apps/kylin

[[email protected] bin]# hadoop fs -ls /

Found 8 items

drwxr-xr-x   - hdfs  supergroup          0 2017-06-02 17:55 /CONFIG

drwxr-xr-x   - hbase hbase               0 2017-08-31 19:11 /hbase

drwxr-xr-x   - root  supergroup          0 2017-09-01 10:23 /kylin

[[email protected] bin]# ./find-hbase-dependency.sh

Retrieving hbase dependency...

[[email protected] bin]# ./find-hive-dependency.sh

Retrieving hive dependency...

8.啟動kylin

[[email protected] kylin]# bin/kylin.sh  start

  檢視kylinUI日誌  

[[email protected] kylin]# tailf logs/kylin.out

INFO: Starting ProtocolHandler ["http-bio-7070"]

Sep 01, 2017 10:35:28 AM org.apache.coyote.AbstractProtocol start

INFO: Starting ProtocolHandler ["ajp-bio-9009"]

Sep 01, 2017 10:35:28 AM org.apache.catalina.startup.Catalina start

INFO: Server startup in 22057 ms

  啟動完成

  檢視kylin server日誌

[[email protected] kylin]# tailf logs/kylin.log

無報錯,啟動完成

9.登陸kylin

      User: ADMIN

      Pass: KYLIN


登陸完成


4.匯入官方測試資料進行測試

4.1匯入資料

檢視Hive default庫中的表

hive> show tables;

OK

t1

Time taken: 0.034 seconds, Fetched: 1 row(s)

hive>

執行命令

/usr/local/apps/kylin/bin

[[email protected] bin]# ./sample.sh

日誌倒數兩行

Sample cube is created successfully in project 'learn_kylin'.

Restart Kylin Server or click Web UI => System Tab => Reload Metadata to take effect

#這句話的意思是  例子cube已成成功建立在了  工程名稱叫'learn_kylin'裡面了

#重啟kylin或者通過webUI => System選項卡=> 重新匯入元資料資訊

檢視Hive default庫中的表,多了五張表

hive> show tables;

OK

kylin_account

kylin_cal_dt

kylin_category_groupings

kylin_country

kylin_sales

t1

Time taken: 0.015 seconds, Fetched: 6 row(s)

hive>

重新載入元資料操作圖

3

步驟1


步驟2


步驟3

4.2檢視匯入模型

檢視匯入的資訊  => 點選最上面選項卡  Model

4.3 開始cube的構建

1.點選CubeActions現象---->再點選Build


2.選擇資料分割槽範圍


3.檢視正在構建的cube任務,點選monitor

4.坐等構建完成吧

5.好了,終於完成了


4.4 查詢構建完成的cube資訊


結果資料




相關推薦

kylin2.1.0+cdh5.10.1+安裝部署+官方測試例子詳細教程

CDH環境下kylin的安裝教程 1.軟體版本介紹:   cdh5.10.1 Kylin: 2.1.0 2.環境檢查 環境中需要啟動的角色: Hive Metastore Server yarn的JobHistory Server 3.正式安裝 3.1 kylin2.

安裝Oozie4.1.0-cdh5.5.2

hadoop oozie安裝oozie經歷了好長的時間,先是源碼包,但是放棄了。。。然後就是安裝的這個CDH版本的,弄了好久,經常報各種錯誤。最後整理出來這篇。先對文件進行下載:這裏使用的是CDH版本的,免編譯,看著編譯的過程就夠了。下載地址:http://archive.cloudera.com/cdh5/

apache hadoop-2.6.0-CDH5.4.1 安裝

apache hadoop-2.6.0-CDH5.4.1 安裝 1.安裝Oracle Java 8 sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install or

CDH5.4.5手動安裝hive-1.1.0-cdh5.4.5

本來想在單節點上面玩玩hive和hbase的整合,結果由於單節點上面的hive和hbase版本不相容,整合的時候報錯:org.apache.hadoop.hbase.HTableDescriptor.addFamily 沒有addFamily這個方法,搞了半天

阿里雲虛擬機器搭建Hadoop-2.6.0-cdh5.7.1安裝詳解(偽分散式環境)

首先先搭配安全組 開啟映象後輸入以下內容:             重要:  yum -y install lrzsz HOSTNAME=(自己的主機名字) hostname $HOSTNAME echo "$(grep -E '127|::1' /etc/host

hive-1.1.0-cdh5.7.0 的編譯安裝並修改元資料儲存資料庫為MySQL

1 準備工作 1.1 配置jdk1.7 1.2 部署MySQL 1.3 安裝maven 1.4編譯安裝 hadoop-2.6.0-cdh5.7.0.src.tar.gz 1.5建立hadoop使用者 安裝的目錄結構:/opt/s

hadoop2.6.0-cdh5.7.1偽分散式編譯安裝

環境相關: OS:CentOS release 6.9 IP:192.168.1.10 MEM:10G(推薦4G以上) DISK:50G 1. 主機克隆,基礎環境部署 參照《CentOS6實驗機模板搭建部署》 克隆一臺實驗機,調整記憶體為10G,並

hive-1.1.0-cdh5.14.0安裝

平臺:    Linux系統所需安裝軟體:    mysql下載軟體:安裝hive:解壓:tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C /home/hadoop/apps進入hive:cd /home/hadoop/apps/hive-1.

skywalking8.1.0(一) 安裝部署

skywalking部署   背景介紹 目前公司後端服務全部為微服務並執行在kubernetes叢集上,而大量的微服務的背後擁有很複雜的呼叫關係,縱使你是公司的資深開發也很難理清每一個後端服務之間的依賴關係,並且隨著公司的發展,服務數量的增加以及內部呼叫鏈的複雜化,僅憑日誌監控和基礎服務監控是很難做

【原創 Spark動手實踐 1】Hadoop2.7.3安裝部署實際動手

dmi 遠程 nag proc host 一個 error img 連接 目錄: 第一部分:操作系統準備工作:   1. 安裝部署CentOS7.3 1611   2. CentOS7軟件安裝(net-tools, wget, vim等)   3. 更新CentOS

關於PHP浮點數之 intval((0.1+0.7)*10) 為什麽是7

不能 col 判斷 不同 運行 sym 舉例 數位 右移 PHP是一種弱類型語言, 這樣的特性, 必然要求有無縫透明的隱式類型轉換, PHP內部使用zval來保存任意類型的數值, zval的結構如下(5.2為例): struct _zval_struct { /*

spark-2.2.0-bin-2.6.0-cdh5.12.1.tgz 編譯方法總結!

菜雞一隻,如果有說錯的地方,還請見諒和指出批評!! 事情是這樣的,想在自己本地部署一個hadoop2.6.0-cdh5.12.1,hive1.1.0-cdh5.12.1,spark-2.2.0-bin-2.6.0-cdh5.12.1的環境,前兩個還是很好找到哪裡下載和部署的! c

opencv3.1.0 + visual studio +win10 安裝教程

本文相關安裝包連結:                          opencv 3.1.0:  連結:https://pan.baidu.com/s/

學習筆記:從0開始學習大資料-10. hive安裝部署

1. 下載 wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz 2.解壓 tar -zxvf hive-1.1.0-cdh5.15.1.tar.gz 3.  hive的元資料(如表名,列

Hyperledger Fabric 1.0 快速搭建 -------- 多機部署 核心共識節點Orderer

前言 在這裡我推薦兩位大神的部落格,可以參考或者直接跟著這兩位大神學習,我是閱讀這兩位大神的部落格和《深度探索區塊鏈Hyperledger技術與應用》一書部署的 《深度探索區塊鏈Hyperledger技術與應用》作者:張增駿、董寧、朱軒彤、陳劍雄  著。 上一篇

百度-Apollo 1.0硬體和系統安裝指南

WIFICONFIG STATE OFF CONNECTIMU COM3 IMU_ADIS16488 INSCOMMAND ENABLE SETIMUORIENTATION 5 ALIGNMENTMODE AUTOMATIC   SETIMUTOANTOFFSET 0.00 1.10866 1.14165 0

樹莓派安裝opencv_3.1.0+opencv_contrib-3.1.0庫+呼叫CSI攝像頭

樹莓派安裝配置Opencv by hrtian 基本情況 * 樹莓派型號:3 Model B * opencv版本:3.1.0 * opencv_contrib庫:3.1.0 ** 注意:cont

軟體版本比較大小:1.0.9 和1.0.10比較大小

 軟體版本比較大小:字串比較和轉換後大小比較的區別 var version = "1.0.9"; var ocxWebVersion = "1.0.10"; <!DOCTYPE html&g

CentOS7+Hadoop2.7.2(HA高可用+Federation聯邦)+Hive1.2.1+Spark2.1.0 完全分散式叢集安裝

本文件主要記錄了Hadoop+Hive+Spark叢集安裝過程,並且對NameNode與ResourceManager進行了HA高可用配置,以及對NameNode的橫向擴充套件(Federation聯邦) 1VM網路配置 將子網IP設定為192.168.1.0: 將閘道器設定

js生成0到9,010,110的隨機數

1.使用內建函式方法:    Math.random(); //該方法產生一個0到1之間的浮點數。    延伸:    Math.floor(Math.random()*10+1); //生成1-10的隨機數    Math.floor(Math.random()