1. 程式人生 > >Spark應用遠端除錯

Spark應用遠端除錯

修改spark-class指令碼 ,這個指令碼在spark安裝目錄下的bin目錄中。

修改最後兩行:

done < <("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "[email protected]")
修改為:
done < <("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main $JAVA_OPTS "[email protected]")
這就要求Spark在執行任務之前將JAVA_OPTS變數考慮進來。我們就可以為應用程式新增JVM引數啦。
修改完成後,在命令列中執行以下命令:

export JAVA_OPTS="$JAVA_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005"
這就設定好了當前的臨時JVM變數。