下載安裝包

Spark

分散式計算

spark-2.3.2-bin-hadoop2.7，安裝包大小：220M

支援Hadoop 2.7以後的版本

Scala

Scala環境，Spark的開發語言

scala-2.12.8.tgz，安裝包大小：20M

Hadoop

分散式儲存（計算）

hadoop-2.7.7.tar.gz，安裝包大小：209M

Java

Java環境

Java SE Development Kit 8u192，安裝包大小：187M

ZooKeeper

註冊中心

zookeeper-3.4.13.tar.gz，安裝包大小：36M

配置

首先需要配置環境變數

環境變數

開啟並編輯~/.bashrc檔案，在末尾新增以下內容：

# java
JAVA_HOME=/opt/jdk1.8.0_192
export PATH=$PATH:$JAVA_HOME/bin

# hadoop
HADOOP_HOME=/opt/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin

# zookeeper
ZOOKEEPER_HOME=/opt/zookeeper-3.4.13
export PATH=$PATH:$ZOOKEEPER_HOME/bin

# scala
SCALA_HOME=/opt/scala-2.12.8
export
 
 PATH=$PATH:$SCALA_HOME/bin

# spark
SPARK_HOME=/opt/spark-2.3.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

Host

這裡需要設定Host，一個是Hadoop的Name-Node、Data-Node，一個spark的Master、Worker。

# spark
192.168.1.161 master
192.168.1.165 worker-165
192.168.1.166 worker-166
192.168.1.167 worker-167

# hadoop
192.168.1.151 name-node
192.168.1.155 data-node-155
192.168.1.156 data-node-156
192.168.1.157 data-node-157
 

spark

conf/slaves

worker-165
worker-166
worker-167

待補充 。。。

hadoop

etc/hadoop/slaves

data-node-155
data-node-156
data-node-157

待補充 。。。

驗證

hadoop

sbin/hdfs-start.sh && sbin/yarn-start.sh

spark

sbin/start-all.sh

待補充 。。。