hive,spark的遠端除錯設定
spark的遠端除錯
spark-env.sh檔案裡面,加上下面配置即可:
if [ "$DEBUG_MODE" = "true" ]; then
export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000"
fi
hive的遠端除錯設定
Hive 0.8 以上版本開始支援遠端除錯(注1)。 1. 以debug模式啟動Cli
${HIVE_HOME}/bin/hive --debug
程序會監聽在8000埠等待除錯連線。如果想更改監聽埠,可以修改配置檔案:${HIVE_HOME}bin/ext/debug.sh
也可以在hive-env.sh裡設定HADOOP_OPTS:
if [ "$DEBUG_MODE" = "true" ]; then
export HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000"
fi
相關推薦
hive,spark的遠端除錯設定
spark的遠端除錯 spark-env.sh檔案裡面,加上下面配置即可: if [ "$DEBUG_MODE" = "true" ]; then export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:tran
Spark遠端除錯配置,在IDEA中的配置
一、Spark遠端除錯配置: #除錯Master,在master節點的spark-env.sh中新增SPARK_MASTER_OPTS變數 export SPARK_MASTER_OPTS="-X
spring boot 遠端除錯設定
參見: Spring Boot Maven Plugin - Debug the application http://docs.spring.io/spring-boot/docs/1.1.x/maven-plugin/examples/run-debug.html Maven在Eclipse中使用除錯
Spark學習筆記之-Spark遠端除錯
Spark遠端除錯 本例子介紹簡單介紹spark一種遠端除錯方法,使用的IDE是IntelliJ IDEA。 1、瞭解jvm一些引數屬性 -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,addres
VS2010 遠端除錯設定
ps:本人按照下面的方式設定成功,個人感覺寫的也比較清楚 VS是支援遠端除錯的,這樣在自己公司就可以遠端除錯在客戶機上的程式了 VS的遠端除錯分為兩種: 這裡我只說幾個要值得注意的地方 1、附加程序除錯又分為兩種:(1)Window身份驗證遠端除錯 (2)匿名遠端除錯 Windows身份遠端除錯在
JAVA服務端遠端除錯設定
1.在伺服器上的程序啟動引數中新增:-Xdebug -Xrunjdwp:transport=dt_socket,address=6666,server=y,suspend=n 連線到myhost:6666提供的除錯服務-Xdebug是通知JVM工作在DEBUG模式下,-Xru
IDA動態遠端除錯elf檔案的最簡單設定(姿勢)
0x01: 將IDA安裝目錄下的dbgsrv資料夾整個都拷貝到linux下(我都拷貝到了ubuntu桌面) 0x02: 將所要除錯的檔案直接放在dbgsrv目錄下 0x03: IDA設定如下: 0x04: 這裡根據你的elf檔案型別
spark JAVA 開發環境搭建及遠端除錯
spark JAVA 開發環境搭建及遠端除錯 以後要在專案中使用Spark 使用者暱稱文字做一下聚類分析,找出一些違規的暱稱資訊。以前折騰過Hadoop,於是看了下Spark官網的文件以及 github 上 官方提供的examples,看完了之後決定動手跑一個文字聚類的demo,於是有了下文。 1. 環境
fiddler的autoResponder及設定手機端代理實現遠端除錯
這是開通部落格的第一篇隨筆,好雞凍哈哈o_O 首先是下載安裝,我安裝的是最新的v4.6.2.0版本,大家在百度上搜fidddler4在百度軟體中心普通下載就可以了。 或者直接用這個連線:http://dlsw.baidu.com/sw-search-sp/soft/47/10963/fidd
Spark本地開發環境搭建與遠端debug設定
快速看完《Spark大資料處理 技術、應用與效能優化》前四章後,對Spark有了一個初步的瞭解,終於踏出了第一步,現在需要在Spark叢集中做些測試例子,熟悉一下開發環境和開發的流程。本文主要總結了如何在本地使用Maven搭建開發環境以及如何進行遠端debug。由於採用的Spark是
設定 Chrome 遠端除錯埠
Visual Studio Code 斷點除錯 Vue 設定 Chrome 遠端除錯埠 首先我們需要在遠端除錯開啟的狀態下啟動 Chrome, 這樣 VS Code 才能 attach 到 Chrome 上: Windows 右鍵點選 Chrome 的快捷方式圖示,選擇屬
idea遠端除錯spark任務
1.在idea 新建Remote 2.spark任務提交,監聽啟動 spark2-submit --master yarn --deploy-mode client --class com.my.ba
再探spark之一(複習之前)加spark如何實現遠端除錯程式碼
Scala的 練習https://blog.csdn.net/yewakui2253/article/details/80022403alt+p可以用來上傳東西僅限於secureCRT然後put F:\Users\Administrator\WorkspacesIDEA\sc
spark遠端debug之除錯spark on yarn 程式(基於CDH平臺,1.6.0版本)
簡介 由於spark有多種執行模式,遠端除錯的時候,雖然大體步驟相同,但是還是有小部分需要注意的地方,這裡記錄一下除錯執行在spark on yarn模式下的程式。 環境準備 需要完好的Hadoop,spark叢集,以便於提交spark on yarn程式。我這裡是基
Spark應用遠端除錯
修改spark-class指令碼 ,這個指令碼在spark安裝目錄下的bin目錄中。 修改最後兩行: done < <("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "[email protected
spark本地除錯hive
本地環境資訊 spark2.1.0 hadoop:2.6.0 hive:2.1.1 scala:2.11.8 java:1.8.0_141 mysql 1 保證hive可用,配置hive-site.xml如下,下面的配置使用的是mysql作為元資料儲存工具,所以還需要將my
遠端除錯spark原始碼(基於java的除錯工具)
開發人員在進行程式編碼的過程中,不可避免的需要對程式碼進行除錯,其目的是能精確定位程式的執行狀況。本文對spark原始碼進行除錯,此除錯方式可以除錯任何JVM相關的程式,如:普通的命令列程式、web程式等。 1、實驗環境 IP hostname maste
Tomcat 伺服器配置及遠端除錯和不同web專案session共享方法以及設定TOMCAT的記憶體
tomcat環境變數配置 classpath = ./;%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar;%TOMCAT_HOMT%/common/lib/servlet-api.jar;%TOMCAT_HOME%/com
Spark local/standalone/yarn/遠端除錯-執行WordCount
local 直接啟動spark-shell ./spark-shell --master local[*] 編寫scala程式碼 sc.textFile("/input/file01.txt") res0.cache() res0.count val
SpringBoot 啟動引數設定環境變數、JVM引數、tomcat遠端除錯
java命令的模版:java [-options] -jar jarfile [args...] 先貼一下我的簡單的啟動命令: java -Xms128m -Xmx256m -Xdebug -Xrunjdwp:server=y,transport=dt_socket,