啟動hive報錯124.2MB of 1 GB physical memory used; 2.6 GB of 2.1 GB virtual memory used. Killing
阿新 • • 發佈:2021-01-27
技術標籤:hivehadoop大資料hadoophive大資料
安裝hive整合LZO出錯:
啟動hive命令bin/hive,報錯:
原因:執行Tez時檢查到用過多記憶體而被NodeManager殺死程序問題,這種問題是從機上執行的Container試圖使用過多的記憶體,而被NodeManager kill掉了
解決方案:
方案一:或者是關掉虛擬記憶體檢查。我們選這個,修改hadoop的yarn-site.xml配置檔案,我的路徑是vi /opt/module/hadoop2.7.2/etc/hadoop/yarn-site.xml,具體情況根據實際路徑進行修改。
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
方案二:mapred-site.xml中設定Map和Reduce任務的記憶體配置如下:(value中實際配置的記憶體需要根據自己機器記憶體大小及應用情況進行修改),我的路徑是
vi /opt/module/hadoop2.7.2/etc/hadoop/mapred-site.xml,具體情況根據實際路徑進行修改。
<property>
<name>mapreduce.map.memory.mb< /name>
<value>1536</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1024M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>3072</value>
</property>
< property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx2560M</value>
</property>