Spark有三種執行模式，分別為：

local模式-只執行在本地，相當於偽分散式

standalone模式-這種模式只需要安裝Spark即可，使用自帶的資源管理器

Spark on yarn/mesos模式-這種模式Spark將使用yarn/mesos作為資源管理器

一般來說，standalone適合只想體驗一把Spark叢集的人，如果想將Spark應用於生產環境，還需要藉助第三方的資源排程模組來優化Spark的資源管理。

Spark以哪一種模式執行可以在執行spark-shell或者spark-submit命令時通過指定 --master引數來設定，如果不設定預設以local方式單機執行。

本次記錄的是Spark 的安裝與配置，使用的是基本的配置選項，如果想了解Spark的更多配置選項來優化Spark叢集的效能可以參閱官方文件或者關注後續文章。

由於我想在Spark安裝完成後執行在yarn之上，所以在配置過程中添加了一些hadoop的配置，如果想使用Spark on yarn需要安裝Hadoop2.0以及以上版本。本例是在Hadoop2.4.0平臺搭建，當然，如果僅是做學習體驗用只使用local或standalone模式可以不用安裝Hadoop。

本次在上述雙節點Hadoop叢集的基礎上安裝Spark。兩個節點分別為：
master 192.168.1.131
slave1 192.168.1.125

一、安裝Scala

Spark是由Scala語言編寫的，所以要想在機器上執行Spark就必須先安裝Scala。下載地址：http://www.scala-lang.org/download/
使用者需要根據所要安裝的Spark版本選擇對應的Scala版本。這點在Spark官網上會有說明。這次安裝的是Spark1.6.1版本，下載的Scala版本為2.10.4
下載完成後將Scala-2.10.4.tgz上傳至linux主機中
解壓：

tar -zxvf Scala-2.10.4.tgz -C /cloud/

配置環境變數：
在/etc/profile檔案中新增：

export SCALA_HOME=/cloud/scala-2.10.4
export PATH=${SCALA_HOME}/bin:$PATH

儲存退出，記得 source /etc/profile

二、安裝Spark

進入官網下載Spark程式包，下載地址：

http://spark.apache.org/downloads.html
本次示例以Spark1.6.1版本為例：
下載spark-1.6.1-bin-hadoop2.tgz
解壓：

tar-zxvf spark-1.6.1-bin-hadoop2.tgz -C /cloud

接下來修改Spark的配置檔案，這裡對Spark進行簡單配置，其他更詳細的配置可以參考：http://spark.apache.org/docs/1.6.1/configuration.html
1、修改conf/spark-env.sh,在檔案中新增以下引數：

export SCALA_HOME=/cloud/scala-2.10.4
export JAVA_HOME=/cloud/jdk1.7.0_80
export SPARK_WORKER_MEMORY=6g
export SPARK_MASTER_IP=192.168.1.131
export MASTER=spark://192.168.1.131:7077

說明：
引數SPARK_WORKER_MEMORY用於指定在worker可用最大記憶體。這裡分配了6GB，讀者可以根據自己機器的配置自行分配，但是要為作業系統和其它服務預留足記憶體。
引數SPARK_MASTER_IP和MASTER根據自己主機的ip修改即可。
2、修改conf/slaves檔案：
本次示例叢集有兩個節點，一個master節點和一個slave1節點。所以在slaves檔案中只需要新增：

slave1

說明：
slave1為節點名，也可以填worker節點的ip地址。


接下來同步至slave節點：
首先，同步scala。

scp -r /cloud/[email protected]:/cloud

然後是spark：

scp -r /cloud/spark-1.6.1-bin-hadoop2/ [email protected]:/cloud/

最後修改slave1上的 /etc/profile 檔案和master節點一致。記得source /etc/profile。
如果有多個從節點，這樣同步會很麻煩，可以參考：http://blog.csdn.net/u013468917/article/details/50977666用pssh批量操作。

三、啟動Spark

如果需要使用Spark on yarn，需要在啟動spark之前確保hadoop已經啟動。
spark啟動命令在Spark根目錄下的sbin目錄下。

cd /cloud/spark-1.6.1-bin-hadoop2/sbin
./start-all.sh

正常情況下，master節點會出現master程序，可以用jps檢視：
#jps
23526 Jps
2112 Master
7235 NameNode
7598 SecondaryNameNode
7569 ResourceManager
worker節點會有worker程序：
#jps
23489 Jps
1258 Worker
1364 DataNode
24587 NodeManager


四、關閉Spark
在Master節點：

/cloud/spark-1.6.1-bin-hadoop2/sbin/stop-all.sh

問題記錄：
初次安裝hadoop時參考網上文章，沒有提到要配置HADOOP_CONF_DIR或者YARN_CONF_DIR變數。如果沒有配置這兩個變數，hadoop可以正常執行，hadoop上的hive也可以執行。但是spark會報錯。所以需要確認添加了HADOOP_CONF_DIR或者YARN_CONF_DIR環境變數。配置示例：$HADOOP_HOME/etc/hadoop