記一次hive客戶端部署的問題
阿新 • • 發佈:2018-12-17
場景:cdh叢集正常的執行,要從遠端安裝hive客戶端連線cdh叢集進行資料操作。
1.客戶端的版本要和cdh的hive版本保持一致
2.本地安裝hadoop環境,配置好core-site、hdfs-site、yarn-site幾個配置檔案
3.hive-site配置好元資料庫以及遠端的hive metadata連線
4.啟動本地hive,能進行正常的語句
報錯:
1.本地執行(localhadoop)的時候,會直接報錯
本地執行一般是join的時候或者資料量很小的時候。一般的設定是
<property>
<name>hive.exec.mode.local.auto</name>
<value>false</value>
</property>
這個讓mapreduce不在本地模式跑。
然後需要配置maped-site 配置框架是
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
以及yarn-site配置
resource-manager的訪問地址 以及排程器的地址和埠。
最終任務能提交到遠端的rm,但是報錯Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0
目測是資源的問題,可以在http的網站上看報錯。
2.本地執行的時候,磁碟滿了報錯
這個一般是在/tmp/hadoop-root/mapred/local/localRunner/root/jobcache目錄底下快取的本地job檔案,這個會有幾百G,要清理。