Spark單機模式獨立部署
阿新 • • 發佈：2019-01-09
單機部署：單臺主機執行Spark,不依賴YARN、MESOS管理資源
Saprk版本：spark-2.2.1-bin-hadoop2.7
部署步驟：
1: 解壓Spark的二進位制壓縮包,最好配置環境變數
2: 啟動master節點：./sbin/start-master.sh
webUI訪問埠：8080
Master預設監聽埠：7077
3: 啟動woker節點：./sbin/start-slave.sh
例如：start-slave.sh spark://debian:7077
引數：表示master節點的訪問地址（注意host-ip對映）
4：連線單機Spark叢集：spark-shell –master spark://debian:7077 （Spark Scala互動式開發環境，“:quit”退出）
5：單機提交Spark自帶測試作業：計算PI
命令：spark-submit –class org.apache.spark.examples.SparkPi –master spark://debian:7077 examples/jars/spark-examples_2.11-2.2.1.jar 100
Master UI介面介紹：
