Spark應用遠端除錯
修改spark-class指令碼 ,這個指令碼在spark安裝目錄下的bin目錄中。
修改最後兩行:
done < <("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "[email protected]")
修改為:
done < <("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main $JAVA_OPTS "[email protected]")
這就要求Spark在執行任務之前將JAVA_OPTS變數考慮進來。我們就可以為應用程式新增JVM引數啦。
修改完成後,在命令列中執行以下命令:
export JAVA_OPTS="$JAVA_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005"
這就設定好了當前的臨時JVM變數。
相關推薦
Spark應用遠端除錯
修改spark-class指令碼 ,這個指令碼在spark安裝目錄下的bin目錄中。 修改最後兩行: done < <("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "[email protected
hive,spark的遠端除錯設定
spark的遠端除錯 spark-env.sh檔案裡面,加上下面配置即可: if [ "$DEBUG_MODE" = "true" ]; then export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:tran
spark JAVA 開發環境搭建及遠端除錯
spark JAVA 開發環境搭建及遠端除錯 以後要在專案中使用Spark 使用者暱稱文字做一下聚類分析,找出一些違規的暱稱資訊。以前折騰過Hadoop,於是看了下Spark官網的文件以及 github 上 官方提供的examples,看完了之後決定動手跑一個文字聚類的demo,於是有了下文。 1. 環境
idea遠端除錯spark任務
1.在idea 新建Remote 2.spark任務提交,監聽啟動 spark2-submit --master yarn --deploy-mode client --class com.my.ba
再探spark之一(複習之前)加spark如何實現遠端除錯程式碼
Scala的 練習https://blog.csdn.net/yewakui2253/article/details/80022403alt+p可以用來上傳東西僅限於secureCRT然後put F:\Users\Administrator\WorkspacesIDEA\sc
IDA6.6遠端除錯Android應用程式的一點總結
新接觸Android安全,一直在逃避總結,因為懶。。。雖然網上有大把的資料,但是很多都是轉載,格式什麼的亂七八糟的,對於有嚴重潔癖的我不能忍。現在剛接觸,以後經常用到的東西,還是總結一下加深印象吧,省得總忘,好記性不如爛筆頭。 具體環境的搭建這些基礎的東西這裡就不再說了,J
Spark遠端除錯配置,在IDEA中的配置
一、Spark遠端除錯配置: #除錯Master,在master節點的spark-env.sh中新增SPARK_MASTER_OPTS變數 export SPARK_MASTER_OPTS="-X
遠端除錯spark原始碼(基於java的除錯工具)
開發人員在進行程式編碼的過程中,不可避免的需要對程式碼進行除錯,其目的是能精確定位程式的執行狀況。本文對spark原始碼進行除錯,此除錯方式可以除錯任何JVM相關的程式,如:普通的命令列程式、web程式等。 1、實驗環境 IP hostname maste
Spark學習筆記之-Spark遠端除錯
Spark遠端除錯 本例子介紹簡單介紹spark一種遠端除錯方法,使用的IDE是IntelliJ IDEA。 1、瞭解jvm一些引數屬性 -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,addres
如何對生產環境的JAVA應用進行遠端除錯
JAVA自身支援除錯功能,並提供了一個簡單的除錯工具--JDB,類似於功能強大的GDB,JDB也是一個字元介面的除錯環境,並支援設定斷點,支援執行緒線級的除錯。 1.在伺服器上的程序啟動引數中新增:
Spark local/standalone/yarn/遠端除錯-執行WordCount
local 直接啟動spark-shell ./spark-shell --master local[*] 編寫scala程式碼 sc.textFile("/input/file01.txt") res0.cache() res0.count val
使用IDEA遠端除錯位於Yarn-Client模式下的Spark叢集相關配置
環境介紹 我使用的是基於Ambari 的 HDP-2.6.1.0-129的Hadoop環境 1.Spark 1.6.3 2.Scala 2.10.6(可以使用2.11以後的 版本) 開發環境是IDEA 2017.2版本,使用sbt進行編譯。 新建工
Spark本地開發與遠端除錯環境搭建
先決條件 遠端除錯環境搭建過程詳述 開啟Intellij IDEA,File->New ->Project 選擇Scala,然後next 配置好JDK、Scala版本,填入專案名稱,然後Finish 4.匯入spark-assembly-1.5.0
遠端除錯Linux下tomcat應用
1.找到linux下的tomcat檔案路徑,修改bin下面的catalina.sh,找到jpda配置處 Shell程式碼 if [ "$1" = "jpda" ] ; then if [ -z "$JPDA_TRANSPORT" ]; then J
Eclipse遠端除錯Spark
修改配置檔案 修改${spark_home}/bin/spark-class檔案: "$RUNNER" -Xmx128m -cp "$LAUNCH_CLASSPATH" org.apache.s
eclipse遠端除錯伺服器上tomcat的應用
我看到網上都說的是點run->debug configurations下面就有Romote Java Application。昨晚一直沒有找見,今天又看了看,原來是先在eclipse中的右上角選Debug檢視後,再點run->debug configurations,下面就有了Remote Jav
如何提高後臺服務應用問題的排查效率?日誌 VS 遠端除錯
轉眼間,距離Jerry最近一篇文章推送已經過去了一個多月的時間了。 公眾號更新的頻率降低,不是因為Jerry偷懶,而是由於從春節
如何用Visual Studio Code遠端除錯執行在伺服器上的nodejs應用
假設我有一個nodejs應用,執行在AWS - 亞馬遜雲平臺上(Amazone Web Service)。我想用本地的Visual
如何遠端除錯部署在CloudFoundry平臺上的nodejs應用
網路上關於如何本地除錯nodejs應用的教程已經很多了,工具有Chrome開發者工具,Visual Studio Code,和no
.Net for Spark 實現 WordCount 應用及除錯入坑詳解
.Net for Spark 實現WordCount應用及除錯入坑詳解 1. 概述 iNeuOS雲端作業系統現在具備物聯網、檢視業務建模、機器學習的功能,但是缺少一個計算平臺產品。最近在調研使用什麼語言進行開發