1. 程式人生 > >hive,spark的遠端除錯設定

hive,spark的遠端除錯設定

spark的遠端除錯

spark-env.sh檔案裡面,加上下面配置即可:

if [ "$DEBUG_MODE" = "true" ]; then
        export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000"
fi

hive的遠端除錯設定

Hive 0.8 以上版本開始支援遠端除錯(注1)。 1. 以debug模式啟動Cli

${HIVE_HOME}/bin/hive --debug

程序會監聽在8000埠等待除錯連線。如果想更改監聽埠,可以修改配置檔案:${HIVE_HOME}bin/ext/debug.sh

也可以在hive-env.sh裡設定HADOOP_OPTS:

if [ "$DEBUG_MODE" = "true" ]; then
        export HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000"
fi