Hive叢集環境的搭建
一、Hive簡介
Hive 是基於 Hadoop 的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供完整的 SQL 查詢功能,將類 SQL 語句轉換為 MapReduce 任務執行。
二、環境準備
zookeeper-3.4.6,hadoop-2.7.2 , mysql-5.7.24-linux-glibc2.12-x86_64
三臺機器: master 、slave1、slave2
對於zookeeper叢集環境的搭建請參考https://mp.csdn.net/postedit/84201320
對於hadoop叢集環境的搭建請參考
對於MySQL的安裝請參考https://mp.csdn.net/postedit/84679543
三:hive環境的搭建
1.下載Hive2.1.1安裝包
wget http://www.apache.org/dyn/closer.cgi/hive/
或者直接去國內的清華大學 網易等映象網站下載
解壓至 /app/hive/目錄下,這樣管理目錄更清晰。
tar -zxvf apache-hive-1.2.1-bin.tar.gz
2.配置環境變數
vim /etc/profile
讓環境變數生效
source /etc/profile
3:修改hive配置檔案
cd apache-hive-1.2.1-bin/conf
修改hive-env.sh檔案
cp hive-env.sh.template hive-env.sh
將以下內容寫入到hive-env.sh檔案中
修改log4j檔案
cp hive-log4j.properties.template hive-log4j.properties
將EventCounter修改成org.apache.hadoop.log.metrics.EventCounter
配置遠端登入模式
vim hive-site.xml
將以下資訊寫入到hive-site.xml檔案中
4:配置mysql-connector-java-5.0.3-bin.jar包
cd /lib
通過ftp上傳到/lib目錄下
檢視是否有mysql-connector-java-5.0.3-bin.jar包
ll my*
5:啟動hive
cd bin/hive
出現下面的結果則hive叢集環境搭建成功。