spark--2.部署高可用的Spark叢集
阿新 • • 發佈:2019-01-05
這裡已經假設部署了hadoop2.6.0 HA叢集:
節點安排如下:
節點名稱 | 角色 |
---|---|
itcast01、itcast02 | Namenode和zkfc |
itcast03、itcast04 | ResourceManager |
itcast05、itcast06、itcast07 | QuorumPeerMain JournalNode、Datanode、NodeManager |
1.在spark官網下載安裝包,注意版本必須匹配,否則自己編譯原始碼後再安裝,這裡選擇 spark-1.3.1-bin-hadoop2.6 版本
2.在scala官網下載安裝包,選擇版本scala-2.10.4
3.上傳spark和scala安裝包到各個節點:
節點角色安排:
節點名稱 | 角色 |
---|---|
itcast01、itcast02 | Spark Master |
itcast05、itcast06、itcast07 | Spark slave |
4.通過scp命令拷貝安裝包至各個節點(已經開啟ssh互信):
root@itcast01> scp scala-2.10.4.tgz spark-1.3.1-bin-hadoop2.6.tgz root@itcast07:/root
5.在各個節點上(12567)解壓安裝包,並配置環境變數配置檔案 /etc/profile
解壓:
[root@itcast01 ~]# tar -zxvf spark-1.3.1-bin-hadoop2.6.tgz -C /itcast/
---
[root@itcast01 ~]# tar -zxvf scala-2.10.4.tgz -C /itcast/
/itcast是根目錄下一個資料夾,一般用於放置hadoop叢集檔案,這裡你可以自己設定
配置環境變數:
編輯配置檔案:
vim /etc/profile
在/etc/profile 檔案中新增:
export SCALA_HOME=/itcast/scala-2.10.4
export SPARK_HOME=/itcast/spark-1.3.1-bin-hadoop2.6
並在PATH變數中新增 $SCALA_HOME/bin:$SPARK_HOME/bin:
6.Spark配置檔案的修改
修改配置檔案conf/spark-env.sh
#java安裝目錄
JAVA_HOME=/usr/java/jdk1.7.0_79
#scala安裝目錄
SCALA_HOME=/itcast/scala-2.10.4
#hadoop 配置檔案的目錄(HA必須指定)
HADOOP_CONF_DIR=/itcast/hadoop-2.6.0/etc/hadoop/
##Spark叢集配置引數##
#配置master的埠號
SPARK_MASTER_PORT=7077
#配置master的web埠號
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1000m
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
SPARK_WORKER_INSTANCES=1
修改配置檔案conf/slaves
指定Spark的所有Slave節點地址,以IP或者hostname的形式標識
itcast05
itcast06
itcast07
7.拷貝配置檔案到各個節點
scp spark-env.sh slaves [email protected]$[HOSTNAME]:/itcast/spark-1.3.1-bin-hadoop2.6/conf/
8.啟動叢集
啟動順序:Zookeeper -> Hadoop -> Spark
在3個Zookeeper節點分別執行:
【ZOOHOME】/bin/zkServer.sh start
namenode節點執行:
【HADOOP_HOME】/sbin/start-dfs.sh
resourcemanager節點執行:
【HADOOP_HOME】/sbin/start-yarn.sh
resourcemanager熱備節點執行:
【HADOOP_HOME】/sbin/yarn-dameons.sh start resourcemanager
SparkMaster節點執行:
【SPARK_HOME】/sbin/start-all.sh
SparkMaster熱備節點執行:
【SPARK_HOME】/sbin/start-master.sh
9.檢查
在web瀏覽器欄輸入:http://【SPARK_MASTER】:8080/
第二行的 cluster mode 說明spark目前以叢集模式啟動
成功!