Hadoop執行因為container的記憶體大小而拋錯
阿新 • • 發佈：2019-01-07
本文轉載自：http://blog.chinaunix.net/uid-25691489-id-5587957.html
Hadoop執行中丟擲如下異常：
<span style="font-size:18px;">Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory used. Killing container. Dump of the process-tree for container_1451456053773_0001_01_000002 : |- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE |- 41538 41355 41355 41355 (java) 3092 243 5511757824 526519 /usr/jdk64/jdk1.7.0_67/bin/java -server -XX:NewRatio=8 -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx4506m -Djava.io.tmpdir=/diskb/hadoop/yarn/local/usercache/hdfs/appcache/application_1451456053773_0001/container_1451456053773_0001_01_000002/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/diska/hadoop/yarn/log/application_1451456053773_0001/container_1451456053773_0001_01_000002 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA org.apache.hadoop.mapred.YarnChild 10.111.32.92 61224 attempt_1451456053773_0001_m_000000_0 2 |- 41355 37725 41355 </span>
大概是job執行超過了map和reduce設定的記憶體大小，導致任務失敗，調整增加了map和reduce的內容，問題排除，一些引數介紹如下：
RM的記憶體資源配置，主要是通過下面的兩個引數進行的（這兩個值是Yarn平臺特性，應在yarn-site.xml中配置好）：
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
說明：單個容器可申請的最小與最大記憶體，應用在執行申請記憶體時不能超過最大值，小於最小值則分配最小值，從這個角度看，最小值有點想作業系統中的頁。最小值還有另外一種用途，計算一個節點的最大container數目注：這兩個值一經設定不能動態改變(此處所說的動態改變是指應用執行時)。
NM的記憶體資源配置，主要是通過下面兩個引數進行的（這兩個值是Yarn平臺特性，應在yarn-sit.xml中配置） ：
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.vmem-pmem-ratio
說明：每個節點可用的最大記憶體，RM中的兩個值不應該超過此值。此數值可以用於計算container最大數目，即：用此值除以RM中的最小容器記憶體。虛擬記憶體率，是佔task所用記憶體的百分比，預設值為2.1倍;注意：第一個引數是不可修改的，一旦設定，整個執行過程中不可動態修改，且該值的預設大小是8G，即使計算機記憶體不足8G也會按著8G記憶體來使用。
AM記憶體配置相關引數，此處以MapReduce為例進行說明（這兩個值是AM特性，應在mapred-site.xml中配置），如下：
mapreduce.map.memory.mb
mapreduce.reduce.memory.mb
說明：這兩個引數指定用於MapReduce的兩個任務（Map and Reduce task）的記憶體大小，其值應該在RM中的最大最小container之間。如果沒有配置則通過如下簡單公式獲得：
max(MIN_CONTAINER_SIZE, (Total Available RAM) / containers))
一般的reduce應該是map的2倍。注：這兩個值可以在應用啟動時通過引數改變；
AM中其它與記憶體相關的引數，還有JVM相關的引數，這些引數可以通過，如下選項配置：
mapreduce.map.java.opts
mapreduce.reduce.java.opts
說明：這兩個參主要是為需要執行JVM程式（java、scala等）準備的，通過這兩個設定可以向JVM中傳遞引數的，與記憶體有關的是，-Xmx，-Xms等選項。此數值大小，應該在AM中的map.mb和reduce.mb之間。
我們對上面的內容進行下總結，當配置Yarn記憶體的時候主要是配置如下三個方面：每個Map和Reduce可用實體記憶體限制；對於每個任務的JVM對大小的限制；虛擬記憶體的限制。
下面通過一個具體錯誤例項，進行記憶體相關說明，錯誤如下：
Container[pid=41884,containerID=container_1405950053048_0016_01_000284] is running beyond virtual memory limits. Current usage: 314.6 MB of 2.9 GB physical memory used; 8.7 GB of 6.2 GB virtual memory used. Killing container.
配置如下：
<span style="font-size:18px;"><span style="white-space:pre"> </span><property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>100000</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>10000</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>3000</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2000</value>
</property></span>memory used”。而由於使用了預設虛擬記憶體率(也就是2.1倍)，所以對於Map Task和Reduce Task總的虛擬記憶體為都為3000*2.1=6.2G。而應用的虛擬記憶體超過了這個數值，故報錯 。解決辦法：在啟動Yarn是調節虛擬記憶體率或者應用執行時調節記憶體大小。