Spark2.3.1中用各種模式來跑官方Demo
阿新 • • 發佈:2018-09-28
ast 使用 進入 -c clas 技術分享 home str strong
1 使用單機local模式提交任務
local模式也就是本地模式,也就是在本地機器上單機執行程序。使用這個模式的話,並不需要啟動Hadoop集群,也不需要啟動Spark集群,只要有一臺機器上安裝了JDK、Scala、Spark即可運行。
進入到Spark2.1.1的安裝目錄,命令是:
cd /opt/spark/spark-2.1.1-bin-hadoop2.7
執行命令,用單機模式運行計算圓周率的Demo:
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.1.1.jar
如圖:
2 使用獨立的Spark集群模式提交任務
這種模式也就是Standalone模式,使用獨立的Spark集群模式提交任務,需要先啟動Spark集群,但是不需要啟動Hadoop集群。啟動Spark集群的方法是進入$SPARK_HOME/sbin目錄下,執行start-all.sh腳本,啟動成功後,可以訪問下面的地址看是否成功:
http://Spark的Marster機器的IP:8080/
如圖:
執行命令,用Standalone模式運行計算圓周率的Demo:
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://192.168.27.143:7077 examples/jars/spark-examples_2.11-2.1.1.jar
如圖:
Spark2.3.1中用各種模式來跑官方Demo