1.這個問題不是很簡單麼？

直接設定不久好了，java -Xmx2000m像這樣不就好了。No,我說的不僅僅是這個問題，比如，你看到

/usr/local/bigdata/jdk/bin/java -Xmx2048m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/usr/local/bigdata/hadoop/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/usr/local/bigdata/hadoop -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,console -Djava.library.path=/usr/local/bigdata/hadoop/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Xmx512m -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /usr/local/bigdata/hive/lib/hive-cli-0.13.0.jar org.apache.hadoop.hive.cli.CliDriver
 

其實，根本問題是我想調整hiveserver2的jvm Xmx大小，我想直接修改hive/conf/hive-env.sh，修改

# The heap size of the jvm stared by hive shell script can be controlled via:
#
export HADOOP_HEAPSIZE=2000
#

不就好了麼，可是，我太天真了，任憑我怎麼修改，都是沒有用的！！

2.那究竟怎麼修改？或者說這些引數是在哪裡設定的？

我們一起看看：

1)hive/hiveserver2的命令最終都指向了hive/bin/ext/util/execHiveCmd.sh

cat hive/bin/ext/util/execHiveCmd.sh
                   execHiveCmd () {
                   ......
                     # hadoop 20 or newer - skip the aux_jars option. picked up from hiveconf
                     exec $HADOOP jar ${HIVE_LIB}/hive-cli-*.jar $CLASS $HIVE_OPTS "[email protected]"
                   }
 

也即hive所有命令都是通過hadoop jar命令加上自己的hive相關的jar包名執行的。

2)所以我們看hadoop/bin/hadoop命令

cat hadoop/bin/hadoop
                   . $HADOOP_LIBEXEC_DIR/hadoop-config.sh
                   ......
               exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "[email protected]"

即先執行了hadoop/libexec/hadoop-config.sh再執行java命令的，注意$JAVA_HEAP_MAX和$HADOOP_OPTS

3)看hadoop/libexec/hadoop-config.sh

cat hadoop/libexec/hadoop-config.sh
                  
                  if [ -f "${HADOOP_CONF_DIR}/hadoop-env.sh" ]; then
                     . "${HADOOP_CONF_DIR}/hadoop-env.sh"
                   fi
                   ......
                   # some Java parameters
                   JAVA_HEAP_MAX=-Xmx1000m
                  
                   # check envvars which might override default args
                   if [ "$HADOOP_HEAPSIZE" != "" ]; then
                     #echo "run with heapsize $HADOOP_HEAPSIZE"
                     JAVA_HEAP_MAX="-Xmx""$HADOOP_HEAPSIZE""m"
                     #echo $JAVA_HEAP_MAX
                   fi

先執行hadoop/conf/hadoop-env.sh,獲取hadoop中的HADOOP_HEAPSIZE

看到這裡應該就明白了，hive/conf/hive-env.sh即使設定了HADOOP_HEAPSIZE=2000，也會被後來的再執行hadoop命令的時候給覆蓋掉。

4)那之前hive命令中出現的Xmx512m又是從哪裡來的呢？

cat hadoop/conf/hadoop-env.sh
                   # The following applies to multiple commands (fs, dfs, fsck, distcp etc)
                   export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"
                   #HADOOP_JAVA_PLATFORM_OPTS="-XX:-UsePerfData $HADOOP_JAVA_PLATFORM_OPTS"
 
cat hadoop/bin/hadoop
    # Always respect HADOOP_OPTS and HADOOP_CLIENT_OPTS
    HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
    export CLASSPATH=$CLASSPATH
    exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "[email protected]"

原來是通過在hadoop/conf/hadoop-env.sh中的HADOOP_CLIENT_OPTS設定死的

5)那hadoop中啟動一個namenode/datanode/resourcemanager/nodemanager等又是怎麼設定的呢？長話短說，整理一張圖

所以問題的根本在於hadoop/hdfs命令都公用了HADOOP_HEAPSIZE這個引數（hive命令也實際上是hadoop命令）,而yarn則非常好的沒有公用，而是採用YARN_HEAPSIZE/YARN_RESOURCEMANAGER_HEAPSIZE/YARN_NODEMANAGER_HEAPSIZE分別設定。

3.結論：

為了保證hadoop叢集中各個元件Xmx引數可以獨立設定不干擾（關鍵是hive中可以設定Xmx大小）,而且結構清晰層次分明：

1）對於namenode/datanode通過設定HADOOP_NAMENODE_OPTS/HADOOP_DATANODE_OPTS設定Xmx

2)取消hadoop/conf/hadoop-env.sh中HADOOP_HEAPSIZE設定

3）取消HADOOP_CLIENT_OPTS中Xmx的設定

4)設定hive/conf/hive-env.sh中HADOOP_HEAPSIZE

最後的最後，

寫的口吐白沫終於寫完了,就這樣啊，再見