1. 程式人生 > 其它 >大資料--Hadoop環境部署(5)Hive部署

大資料--Hadoop環境部署(5)Hive部署

Hadoop叢集部署:https://www.cnblogs.com/Studywith/p/16948866.html


一.Hive的三種部署模式

1.嵌入模式
使用內嵌的Derby資料庫儲存元資料,是Hive最簡單的部署方式。嵌入模式下的Hive不支援多會話連線,不適合生產環境,只適合測試環境。
2.本地模式
使用本地獨立資料庫儲存元資料,這裡的獨立資料庫通常使用MySQL資料庫。本地模式部署的Hive支援元資料共享,並且支援多會話連線。
3.遠端模式
遠端模式與本地模式一樣,同樣是使用獨立資料庫儲存元資料。不同的是,遠端模式使用的是遠端的獨立資料庫,而本地模式使用的是本地獨立資料庫。遠端模式主要應用於Hive客戶端較多的情況。


二.嵌入模式

1.下載安裝包+上傳+解壓

官網:https://dlcdn.apache.org/hive/

這裡下載的是apache-hive-2.3.9-bin.tar.gz,上傳到node01的/export/software/,解壓到/export/servers/

tar -zxvf /export/software/apache-hive-2.3.9-bin.tar.gz -C /export/servers/


2.系統環境變數

便於在各個資料夾下可以直接呼叫Hive

vim /etc/profile

HIVE_HOME=/export/servers/apache-hive-2.3.9-bin
PATH=$PATH:$HIVE_HOME/bin
export HIVE_HOME PATH

source 
/etc/profile


3.Hive配置檔案

參考:https://blog.csdn.net/QYHuiiQ/article/details/124157773

(1)hive-env.sh

cd /export/servers/apache-hive-2.3.9-bin/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

export HIVE_CONF_DIR=/export/servers/apache-hive-2.3.9-bin/conf
export JAVA_HOME=/export/servers/jdk1.8.0_161
export HADOOP_HOME
=/export/servers/hadoop-2.7.4 export HIVE_AUX_JARS_PATH=/export/servers/apache-hive-2.3.9-bin/lib


(2)hive-site.xml

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

(命令的意思就是全文查詢對應符號,將符號替換為指定符號)
#1.將${system:java.io.tmpdir}替換為我們的tmp目錄(iotmp,該目錄會自動建立)。直接在當前模式下輸入以下命令即可替換,不需要切換為insert模式

:%s#${system:java.io.tmpdir}#/export/servers/apache-hive-2.3.9-bin/iotmp#g

#執行完之後,會提示我們替換了4個地方。
 

#2.再將系統使用者名稱替換為root

:%s/${system:user.name}/root#g

#執行完之後提示我們修改了3個地方。


4.初始化 Derby

在啟動Hive之前需要在Hive的安裝目錄下進行初始化Derby資料庫的操作,出現“schemaTool completed”資訊,則證明成功初始化Derby資料庫。

cd /export/servers/apache-hive-2.3.9-bin/
bin/schematool -initSchema -dbType derby


5.啟動Hadoop

必須先啟動Hadoop再啟動Hive

#node01,02,03分別依次執行(具體見上文Hadoop執行)
zkServer.sh start
zkServer.sh status
hadoop-daemon.sh start journalnode

#node01執行
start-dfs.sh
start-yarn.sh

#完成後分別執行jps檢視啟動情況

node01

node02

node03


6.啟動Hive客戶端工具

執行“hive”命令啟動Hive客戶端工具HiveCLI。可以執行“quit;”命令退出Hive客戶端工具HiveCLI,此時在Hive安裝目錄下會預設生成檔案derby.log和資料夾metastore_db。


另外兩種待更新~