一、安裝scala2.11

注意官網的這句話：Note: Starting version 2.0, Spark is built with Scala 2.11 by default. Scala 2.10 users should download the Spark source package and build with Scala 2.10 support.

也就是說spark2.0之後只支援scala2.11，如果使用2.10需要使用spark原始碼自行編譯。

另外，官網要求java1.8，我的是1.7版本，安裝了就悲劇了，重新換java。

關於java這塊，還要強調一下，Linux自帶的openJDK要先刪除再安裝，不然可能各種報錯還找不到原因。

1.下載

wget --no-check-certificate https://downloads.lightbend.com/scala/2.11.4/scala-2.11.4.tgz

2.解壓

tar -xvzf scala-2.11.4.tgz

3.新增環境變數

vim ~/.bashrc

新增 export SCALA_HOME=/usr/local/src/scala

 source ~/.bashrc

4.測試

輸入scala -version

二、安裝spark

1.下載解壓新增環境變數（過程同上，略）

2.配置conf

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

末尾新增

export JAVA_HOME=/usr/local/src/jdk1.7.0_80   #Java環境變數
export SCALA_HOME=/usr/local/src/scala #SCALA環境變數
export SPARK_WORKING_MEMORY=1g  #每一個worker節點上可用的最大記憶體
export SPARK_MASTER_IP=master   #驅動器節點IP
export HADOOP_HOME=/usr/local/src/hadoop-2.6.1  #Hadoop路徑
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #Hadoop配置目錄
export SPARK_CLASSPATH=/usr/local/src/spark/libext #把MySQL驅動jar包放裡面
export SPARK_WORKER_CORES=2             #每個節點多少核
export SPARK_WORKER_INSTANCES=1                   #每臺機器上開啟的worker節點的數目
 

cp slaves.template slaves

把localhost註釋掉，末尾新增

slave1
slave2

3.驗證

輸入spark-shell

把spark傳送到另外兩臺機器，修改環境配置，上網頁版看看