一.安裝java
將java下載後手動解壓到/home/che資料夾下（可採用右擊壓縮包，單擊“提取”）
在終端（可用Ctrl+Alt+T快捷鍵開啟）中輸入：

sudo gedit /etc/profile

在開啟的文字中新增：

export JAVA_HOME=/home/che/jdk1.8.0_101/
export JRE_HOME=/home/che/jdk1.8.0_101/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

二.配置ssh localhost

sudo apt-get update
sudo apt-get install openssh-server
sudo /etc/init.d/ssh start

生成並新增金鑰：

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

測試ssh localhost

ssh localhost
exit

三.安裝hadoop2.6.0
將hadoop2.6.0下載然後手動解壓到/home/che資料夾下
【或者】執行：

cd /home/che
wget http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
tar -xzvf hadoop-2.7.2.tar.gz

編輯/etc/profile檔案

sudo gedit /etc/profile

新增：

export HADOOP_HOME=/home/che/hadoop-2.7.2
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
 

export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

讓其生效

source /etc/profile

編輯$HADOOP_HOME/etc/hadoop/hadoop-env.sh檔案

sudo gedit $HADOOP_HOME/etc/hadoop/hadoop-env.sh

新增：

export JAVA_HOME=/home/che/jdk1.8.0_101/

修改core-site.xml檔案

cd $HADOOP_HOME/etc/hadoop
sudo gedit core-site.xml

修改為：

<configuration>
<property>
  <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

修改hdfs-site.xml檔案

sudo gedit hdfs-site.xml

修改為（第一個是dfs的備份數目，單機用1份就行，後面兩個是namenode和datanode的目錄）：

<configuration>
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<property>
  <name>dfs.name.dir</name>
    <value>file:///home/che/hadoopdata/hdfs/namenode</value>
</property>

<property>
  <name>dfs.data.dir</name>
    <value>file:///home/che/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

修改mapred-site.xml.template

sudo gedit mapred-site.xml.template

修改為：

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

修改yarn-site.xml

sudo gedit yarn-site.xml

修改為：

<configuration>
 <property>
  <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>

初始化hadoop：

hdfs namenode -format

啟動

$HADOOP_HOME/sbin/start-all.sh

停止

$HADOOP_HOME/sbin/stop-all.sh

其他埠說明：
port 8088: cluster and all applications
port 50070: Hadoop NameNode
port 50090: Secondary NameNode
port 50075: DataNode
hadoop執行後可使用jps命令檢視,得到結果：

四.安裝scala
將scala下載後手動解壓檔案到/home/che資料夾
【或者】執行：

cd /home/che
tar -xzvf scala-2.11.8.tgz

在/etc/profile檔案的末尾新增環境變數：

sudo gedit /etc/profile

新增：

export SCALA_HOME=/home/che/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH

儲存並更新/etc/profile：

source /etc/profile

檢視是否成功：

scala -version

五.安裝spark
下載spark手動解壓安裝包到/home/che資料夾下
【或者】執行：

cd /home/che
tar -xzvf spark-2.0.0-bin-hadoop2.7.tgz
mv spark-2.0.0-bin-hadoop2.7 spark-2.0.0

開啟/etc/profile檔案

sudo gedit /etc/profile

在/etc/profile檔案的末尾新增環境變數：

export SPARK_HOME=/home/che/spark-2.0.0
export PATH=$SPARK_HOME/bin:$PATH

儲存並更新/etc/profile：

source /etc/profile

在conf目錄下複製並重命名spark-env.sh.template為spark-env.sh：

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
sudo gedit spark-env.sh

新增：

export JAVA_HOME=/home/che/jdk1.8.0_101
export SCALA_HOME=/home/che/scala-2.11.9
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=4G

啟動spark

$SPARK_HOME/sbin/start-all.sh
jps

可以看到有一個worker，現在就可以愉快的玩耍spark啦！！！

$SPARK_HOME/bin/run-example SparkPi

看看你有沒有得到:

Pi is roughly 3.14716

（當時執行出來一大串程式碼，最後找了半天這個結果在程式碼中間隱藏著）

轉載請註明文章來源及作者：會飛的星星