1. 程式人生 > >Spark2.3.1中用各種模式來跑官方Demo

Spark2.3.1中用各種模式來跑官方Demo

ast 使用 進入 -c clas 技術分享 home str strong

1 使用單機local模式提交任務

local模式也就是本地模式,也就是在本地機器上單機執行程序。使用這個模式的話,並不需要啟動Hadoop集群,也不需要啟動Spark集群,只要有一臺機器上安裝了JDKScalaSpark即可運行。

進入到Spark2.1.1的安裝目錄,命令是:

cd  /opt/spark/spark-2.1.1-bin-hadoop2.7

   執行命令,用單機模式運行計算圓周率的Demo:

./bin/spark-submit  --class   org.apache.spark.examples.SparkPi  --master   local  examples/jars/spark-examples_2.11-2.1.1.jar

  如圖:

技術分享圖片

2 使用獨立的Spark集群模式提交任務

這種模式也就是Standalone模式,使用獨立的Spark集群模式提交任務,需要先啟動Spark集群,但是不需要啟動Hadoop集群。啟動Spark集群的方法是進入$SPARK_HOME/sbin目錄下,執行start-all.sh腳本,啟動成功後,可以訪問下面的地址看是否成功:

http://Spark的Marster機器的IP:8080/

如圖:

技術分享圖片

執行命令,用Standalone模式運行計算圓周率的Demo:

./bin/spark-submit   --class   org.apache.spark.examples.SparkPi   --master   spark://192.168.27.143:7077   examples/jars/spark-examples_2.11-2.1.1.jar

  如圖:

技術分享圖片

Spark2.3.1中用各種模式來跑官方Demo