1. 程式人生 > >standalone client模式提交菠菜平臺搭建

standalone client模式提交菠菜平臺搭建

調試 數據 信息 spa 實時 -s client模式 追蹤 sub

local模式下,菠菜平臺搭建(企 娥:217 1793 408)我們是不會將spark作業提交到生產機器上去跑的

local模式,其實僅僅用於idea中運行spark作業,以及打斷點,調試spark作業來用

通常,用local模式執行,我們會手動生產一份數據,來使用

部署到測試機器上來進行測試運行spark作業的時候,都是使用client模式(standalone client模式,standalone cluster模式)

client模式下,提交作業後,driver在本機啟動,可以實時看到詳細的日誌信息,方便追蹤排除錯誤

standalone模式下提交spark作業(唯一與local區別就是將master設置成spark://master_ip:port)

三種模式

  1. 硬編碼:SparkConf.setMaster("spark://IP:PORT")

2.spark-submit: --master spark://IP:PORT

3.spark-shell: --master spark://IP:PORT

standalone client模式提交菠菜平臺搭建