Spark執行模式

Spark 有很多種模式，最簡單就是單機本地模式，還有單機偽分散式模式，複雜的則執行在叢集中，目前能很好的執行在 Yarn和 Mesos 中，當然 Spark 還有自帶的 Standalone 模式，對於大多數情況 Standalone 模式就足夠了，如果企業已經有 Yarn 或者 Mesos 環境，也是很方便部署的。

• local(本地模式)：常用於本地開發測試，本地還分為local單執行緒和local-cluster多執行緒;
• standalone(叢集模式)：典型的Mater/slave模式，不過也能看出Master是有單點故障的；Spark支援ZooKeeper來實現 HA
• on yarn(叢集模式)： 執行在 yarn 資源管理器框架之上，由 yarn 負責資源管理，Spark 負責任務排程和計算
• on mesos(叢集模式)： 執行在 mesos 資源管理器框架之上，由 mesos 負責資源管理，Spark 負責任務排程和計算
• on cloud(叢集模式)：比如 AWS 的 EC2，使用這個模式能很方便的訪問 Amazon的 S3;Spark 支援多種分散式儲存系統：HDFS 和 S3

Spark Standalone叢集部署

準備工作

• 這裡我下載的是Spark的編譯版本，否則需要事先自行編譯
• Spark需要Hadoop的HDFS作為持久化層，所以在安裝Spark之前需要安裝Hadoop，這裡Hadoop的安裝就不介紹了，給出一個教程
  Hadoop安裝教程_單機/偽分散式配置
• 實現建立hadoop使用者，Hadoop、Spark等程式都在該使用者下進行安裝
• ssh無密碼登入，Spark叢集中各節點的通訊需要通過ssh協議進行，這需要事先進行配置。通過在hadoop使用者的.ssh目錄下將其他使用者的id_rsa.pub公鑰檔案內容拷貝的本機的authorized_keys檔案中，即可事先無登入通訊的功能
• Java環境的安裝，同時將JAVA_HOME、CLASSPATH等環境變數放到主目錄的.bashrc，執行source .bashrc使之生效

部署配置

這裡配置工作需要以下幾個步驟：

1. 解壓Spark二進位制壓縮包
2. 配置conf/spark-env.sh檔案
3. 配置conf/slave檔案

下面具體說明一下：

• 配置Spark的執行環境，將spark-env.sh.template模板檔案複製成spark-env.sh，然後填寫相應需要的配置內容：

  1 2 3 4 5

  export SPARK_MASTER_IP=hadoop1 export SPARK_MASTER_PORT=7077 export SPARK_WORKER_CORES=1 export SPARK_WORDER_INSTANCES=1 export SPARK_WORKER_MEMORY=3g

其他選項內容請參照下面的選項說明：

1
2
3
4
5
6
7
8
9
10
11

# Options for the daemons used in the standalone deploy mode:
# - SPARK_MASTER_IP, to bind the master to a different IP address or hostname
# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master
# - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y")
# - SPARK_WORKER_CORES, to set the number of cores to use on this machine
# - SPARK_WORKER_MEMORY, to set how much total memory workers have to give executors (e.g. 1000m, 2g)
# - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker
# - SPARK_WORKER_INSTANCES, to set the number of worker processes per node
# - SPARK_WORKER_DIR, to set the working directory of worker processes
# - SPARK_WORKER_OPTS, to set config properties only for the worker (e.g. "-Dx=y")
# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. "-Dx=y")

• conf/slave檔案使用者分散式節點的配置，這裡只需要在slave檔案中寫入各節點的主機名即可

• 將以上內容都配置好了，將這個spark目錄拷貝到各個節點scp -r spark [email protected]:~

• 接下來就可以啟動叢集了，在Spark目錄中執行sbin/start-all.sh，然後可以通過netstat -nat命令檢視埠7077的程序，還可以通過瀏覽器訪問hadoop1:8080瞭解叢集的概況

Spark Client部署

Spark Client的作用是，事先搭建起Spark叢集，然後再物理機上部署客戶端，然後通過該客戶端提交任務給Spark叢集。
由於上面介紹了Standalone分散式叢集是如何搭建的，這裡只需將叢集上的spark資料夾拷貝過來。
最簡單的Spark客戶端訪問叢集的方式就是通過Spark shell的方式：bin/spark-shell --master spark://hadoop1:7077這樣就可以訪問叢集了。
這樣在瀏覽器的Spark叢集介面上就可以看到Running Applications一欄中有Spark shell的應用在執行。

Spark Standalone偽分散式部署

偽分散式是在一臺機器上進行部署來模擬分散式的叢集，這裡部署的過程和Standalone叢集的部署是類似的，事前的工作都是一樣的，這裡只是在配置檔案中做相應的修改就可以了。

這裡還是配置這兩個檔案：

配置conf/spark-env.sh檔案
配置conf/slave檔案

• 修改spark-env.sh檔案，修改master的ip，這裡主機名和使用者ip分別在/etc/hostname和/etc/hosts檔案中進行配置

  1 2 3 4 5

  export SPARK_MASTER_IP=jason export SPARK_MASTER_PORT=7077 export SPARK_WORKER_CORES=1 export SPARK_WORDER_INSTANCES=1 export SPARK_WORKER_MEMORY=3g

• slave檔案中，填寫自己的主機名，比如我的主機名jason