前言

想在本地提交spark程式，在網上找了一些文章。在本地提交的前提就是，spark以叢集的方式啟動。於是想以簡單的standalone方式啟動，但在啟動的時候遇到了一些問題，下面把過程和問題總結一下。

正文

前提：

• 已經下載到spark到機器上（master和slave），並且已經配置好了SPARK_HOME（使用版本：spark-2.1.0-bin-hadoop2.7.tgz）
• 已經安裝了java(使用版本：1.8.0_111)

啟動方式1（不用做修改）

1，在Master機器上，執行$SPARK_HOME/sbin/start-master.sh，啟動master。啟動完後，就可以通過

2，在Slave機器上啟動Worker程序，連線到Master上。有兩個方法，這兩個方法都可以完成這個工作：

• 執行$SPARK_HOME/bin/spark-class org.apache.spark.deploy.worker.Worker spark://master-ip:7077
• 執行$SPARK_HOME/sbin/start-slave.sh spark://master-ip:7077

啟動完後，刷上面的web頁面，就可以在“Workers”裡看到新啟動的Worker。

3，進行測試。以叢集的方式啟動spark-shell：$SPARK_HOME/bin/spark-shell --master spark://master-ip:7077。
（--master spark://master-ip:7077中，

• master是指定Shell連線到叢集
• spark://master-ip:7077是叢集服務的地址，這個地址在http://master-ip:8080頁面的最上面就可以看到）

當連線成功後，就可以在上面的web頁面中看到在“Running Applications”裡有類似下面的內容：

Application ID：app-20170312004859-0000 Name：Spark shell

還有一種測試方法，就是使用JPS命令，檢視Master上的master程序是否啟動，Slave上的worker程序是否已經啟動。

啟動方式2（需要修改）

1，把$SPARK_HOME/conf/spark-env.sh.template檔案，拷貝一份命名為：spark-env.sh。然後編輯spark-env.sh檔案，追加JAVA_HOME的設定，例如：

export JAVA_HOME=/usr/local/java/current
export PATH=$PATH:$JAVA_HOME/bin

如果不進行這步的設定，在使用spark-all.sh進行啟動master和slave的話，啟動到slave時，就會出現JAVA_HOME is not set的錯誤提示。

2，把Master下的$SPARK_HOME/conf/slaves.template檔案，拷貝一份命名為：slave。然後編輯slave檔案，追加slave的機器，例如：

localhost
hadoop-slave-1

（localhost是原來檔案自帶的。如果有localhost，master機器上也會啟動一個worker）

3，使用scp -R spakr_dir [email protected]:~命令，把配置好的spark拷貝到slave機器上，替換掉原來的spark目錄。

4，在Master機器上，使用$SPARK_HOME/sbin/start-all.sh進行啟動master和slave。

5，進行測試。測試方法和上面一樣。

遇到的問題

在配置過程中，啟動spark-shell進行測試時，發生了下面的錯誤：

ERROR cluster.SparkDeploySchedulerBackend: Application has been killed. Reason: Master removed our application: FAILED

問題原因：

spark目錄下的work目錄的所屬使用者和使用者組都是root，不是我建立的hadoop使用者。

如何查詢問題：
　　在網上找了找，有的說是因為/etc/hosts設定的問題，有的說是因為防火牆沒有關的問題（可以參考叢集外的client節點執行Spark shell，10多秒之後自動斷開），試了試，不好用，看來不是這個問題。
　　後來測試發現，只啟動master，不啟動slave的話，可以正常啟動。後來使用第一種方法進行啟動後，再進行測試的話，slave的錯誤資訊被列印到螢幕上，這才知道了是slave出了問題。而看到錯誤資訊後，也就知道了是work目錄無法建立檔案，然後就找到了問題的所在。
（slave機器的log位置：/usr/local/spark/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-hadoop-slave-1.out）

其它

有的教程上說要對spark-env.sh進行下面的配置，但其實不配置也可以。

export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORDER_INSTANCES=1
export SPARK_WORKER_MEMORY=3g

參考：