大資料--Hadoop環境部署(5)Hive部署
Hadoop叢集部署:https://www.cnblogs.com/Studywith/p/16948866.html
一.Hive的三種部署模式
1.嵌入模式
使用內嵌的Derby資料庫儲存元資料,是Hive最簡單的部署方式。嵌入模式下的Hive不支援多會話連線,不適合生產環境,只適合測試環境。
2.本地模式
使用本地獨立資料庫儲存元資料,這裡的獨立資料庫通常使用MySQL資料庫。本地模式部署的Hive支援元資料共享,並且支援多會話連線。
3.遠端模式
遠端模式與本地模式一樣,同樣是使用獨立資料庫儲存元資料。不同的是,遠端模式使用的是遠端的獨立資料庫,而本地模式使用的是本地獨立資料庫。遠端模式主要應用於Hive客戶端較多的情況。
二.嵌入模式
1.下載安裝包+上傳+解壓
官網:https://dlcdn.apache.org/hive/
這裡下載的是apache-hive-2.3.9-bin.tar.gz,上傳到node01的/export/software/,解壓到/export/servers/
tar -zxvf /export/software/apache-hive-2.3.9-bin.tar.gz -C /export/servers/
2.系統環境變數
便於在各個資料夾下可以直接呼叫Hive
vim /etc/profile HIVE_HOME=/export/servers/apache-hive-2.3.9-bin PATH=$PATH:$HIVE_HOME/bin export HIVE_HOME PATH source/etc/profile
3.Hive配置檔案
參考:https://blog.csdn.net/QYHuiiQ/article/details/124157773
(1)hive-env.sh
cd /export/servers/apache-hive-2.3.9-bin/conf cp hive-env.sh.template hive-env.sh vim hive-env.sh export HIVE_CONF_DIR=/export/servers/apache-hive-2.3.9-bin/conf export JAVA_HOME=/export/servers/jdk1.8.0_161 export HADOOP_HOME=/export/servers/hadoop-2.7.4 export HIVE_AUX_JARS_PATH=/export/servers/apache-hive-2.3.9-bin/lib
(2)hive-site.xml
cp hive-default.xml.template hive-site.xml vim hive-site.xml (命令的意思就是全文查詢對應符號,將符號替換為指定符號) #1.將${system:java.io.tmpdir}替換為我們的tmp目錄(iotmp,該目錄會自動建立)。直接在當前模式下輸入以下命令即可替換,不需要切換為insert模式 :%s#${system:java.io.tmpdir}#/export/servers/apache-hive-2.3.9-bin/iotmp#g #執行完之後,會提示我們替換了4個地方。 #2.再將系統使用者名稱替換為root :%s/${system:user.name}/root#g #執行完之後提示我們修改了3個地方。
4.初始化 Derby
在啟動Hive之前需要在Hive的安裝目錄下進行初始化Derby資料庫的操作,出現“schemaTool completed”資訊,則證明成功初始化Derby資料庫。
cd /export/servers/apache-hive-2.3.9-bin/
bin/schematool -initSchema -dbType derby
5.啟動Hadoop
必須先啟動Hadoop再啟動Hive
#node01,02,03分別依次執行(具體見上文Hadoop執行) zkServer.sh start zkServer.sh status hadoop-daemon.sh start journalnode #node01執行 start-dfs.sh start-yarn.sh #完成後分別執行jps檢視啟動情況
node01
node02
node03
6.啟動Hive客戶端工具
執行“hive”命令啟動Hive客戶端工具HiveCLI。可以執行“quit;”命令退出Hive客戶端工具HiveCLI,此時在Hive安裝目錄下會預設生成檔案derby.log和資料夾metastore_db。
另外兩種待更新~