Spark的高可用機制HA
阿新 • • 發佈：2019-01-29
1.安裝zookeeper叢集，修改配置檔案，之後啟動zookeeper的服務。
之後使用命令zkServer.sh start分別啟動你的每臺機器上面的zk服務。可以使用命令zkServer.sh status檢視狀態。
2.已經安裝好spark叢集。在配置檔案中修改一些配置，將master的資訊註冊在你的zookeeper的叢集上。
具體的命令是：
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hdp01:2181,hdp02:2181,hdp03:2181 -Dspark.deploy.zookeeper.dir=/spark"
3.現在就就可以在叢集中啟動你的spark服務了。使用命令
start-all.sh --啟動master和指定的worker。
在另外一臺機器上面啟動熱備的master，使用命令： start-master.sh.
現在你的spark叢集就是HA的熱備狀態了，可以在網頁上觀看。 hdp01:8080 以及 hdp02:8080 。可以驗證。此外，要保證叢集的時間是一致的。