Spark StandAlone模式和On Yarn模式搭建

Spark StandAlone模式

上傳並解壓

tar -zxvf spark-3.0.2-bin-hadoop3.2.tgz -C /data/soft/

修改配置檔案

# 進入conf資料夾目錄
cd /data/soft/spark-3.0.2-bin-hadoop3.2/conf

• spark-env.sh

# 修改檔名
mv spark-env.sh.template spark-env.sh
# 修改spark-env.sh
vi spark-env.sh 

export JAVA_HOME=/usr/local/jdk1.8
export SPARK_MASTER_HOST=bigdata01
 

• slaves

mv slaves.template slaves
vi slaves

# 配置bigdata02/bigdata03為從節點
bigdata02
bigdata03

分發

scp -r /data/soft/spark-3.0.2-bin-hadoop3.2/ root@bigdata02:/data/soft/

啟動叢集

sbin/start-all.sh

啟動完畢後, 使用jps命令，在主節點bigdata01上可以看到master程序，在從節點bigdata02/bigdata03上可以看到worker程序。

Web UI測試

Spark Web UI http://bigdata01:8080/

測試

./bin/spark-submit  --class org.apache.spark.examples.SparkPi --master spark://bigdata01:7077 examples/jars/spark-examples_2.12-3.0.2.jar 2
 

停止叢集

sbin/stop-all.sh

Spark on Yarn 模式

上傳並解壓

tar -zxvf spark-3.0.2-bin-hadoop3.2.tgz -C /data/soft/

修改配置檔案

# 進入conf資料夾目錄
cd /data/soft/spark-3.0.2-bin-hadoop3.2/conf

• Spark-env.sh

# 修改檔名
mv spark-env.sh.template spark-env.sh
# 修改spark-env.sh
vi spark-env.sh 

export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_CONF_DIR=/data/soft/hadoop-3.2.0/etc/hadoop
 

測試

• 提交測試任務

bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster examples/jars/spark-examples_2.12-3.0.2.jar 2

去Yarn上檢視任務狀態

總結

Standalone：獨立叢集模式適合學習過程。

On Yarn 共用Hadoop叢集資源推薦使用

參考文件

• Spark官方文件