1.1下載spark安裝包

下載地址spark官網：http://spark.apache.org/downloads.html

這裡我們使用spark-2.0.2-bin-hadoop2.7版本.3.2規劃安裝目錄

/opt/bigdata

1.3解壓安裝包

tar-zxvf spark-2.0.2-bin-hadoop2.7.tgz

1.4重新命名目錄

mv spark-2.0.2-bin-hadoop2.7 spark

1.5修改配置檔案

/opt/bigdata/spark/conf
配置檔案目錄在/opt/bigdata/spark/conf

vi spark-env.sh修改檔案(先把spark-env.sh.template重新命名

mv spark-env.sh.template spark-env.sh

#配置java環境變數

export JAVA_HOME=/opt/bigdata/jdk1.7.0_67

#指定spark老大Master的IP

export SPARK_MASTER_HOST=hdp-node-01

#指定spark老大Master的埠

export SPARK_MASTER_PORT=7077

vi slaves修改檔案(先把slaves.template重新命名為slaves) mv slaves.template slaves

hdp-node-02

hdp-node-03

1.6拷貝配置到其他主機

通過scp命令將spark的安裝目錄拷貝到其他機器上

scp-r/opt/bigdata/spark hdp-node-02:/opt/bigdata

scp-r/opt/bigdata/spark hdp-node-03:/opt/bigdata

1.7配置spark環境變數

將spark新增到環境變數,新增以下內容到/etc/profile

export SPARK_HOME=/opt/bigdata/spark

export PATH=$PATH:$SPARK_HOME/bin

注意最後source /etc/profile重新整理配置

1.7啟動spark

#在主節點上啟動spark

/opt/bigdata/spark/sbin/start-all.sh
 

1.8停止spark

#在主節點上停止spark叢集

/opt/bigdata/spark/sbin/stop-all.sh

1.9 spark的web介面

正常啟動spark集群后，可以通過訪問http://hdp-node-01:8080,檢視spark的web介面，

檢視相關資訊。