1、簡介

當Flink程式執行時，如果jobmanager崩潰，那麼整個程式都會失敗。為了防止jobmanager的單點故障，藉助於zookeeper的協調機制，可以實現jobmanager的HA配置—-1主（leader）多從（standby）。

這裡的HA配置只涉及standalone模式，yarn模式暫不考慮。
Flink版本： 1.1.2
Hadoop版本： 2.6.0

例如，有3個jobmanager，其HA情況如下：

2、standalone HA的配置

由於jobmanager的HA配置依賴於zookeeper，因此，需要先配置zookeeper，可以參考我之前的文章：

下面開始配置jobmanager的HA：
（1）flink配置檔案：conf/flink-conf.yaml

#jobmanager.rpc.address: flink

HA模式下，jobmanager不需要指定，在master file中配置，由zookeeper選出leader與standby。

#==============================================================================
 

# Streaming state checkpointing
#==============================================================================
state.backend: filesystem
state.backend.fs.checkpointdir: hdfs:///flink/checkpoints

檢查點生成的分散式快照的儲存地點，預設是jobmanager的memory，但是HA模式必須配置在hdfs上，且儲存路徑需要在hdfs上建立並指定路徑（hdfs dfs -mkdir /flink/checkpoints）。

# Path to the Hadoop configuration directory.
fs.hdfs.hadoopconf: /home/flink/hadoop/hadoop-2.6.0/etc/hadoop

指定hadoop conf路徑，這裡需要告訴Flink，hadoop配置的路徑，否則會報錯，詳見：這裡

#==============================================================================
# Master High Availability (required configuration)
#==============================================================================
recovery.mode: zookeeper
recovery.zookeeper.quorum: flink:2181,data0:2181,mf:2181
recovery.zookeeper.storageDir: hdfs:///flink/recovery
recovery.zookeeper.path.root: /flink
recovery.zookeeper.path.namespace: /cluster_one

HA配置，storageDir儲存jobmanager的元資料資訊，包括用於恢復的資訊；recovery.zookeeper.path.root代表zookeeper中節點資訊；recovery.zookeeper.path.namespace，如果你的Flink叢集有不止一個的話，那麼這個值需要特殊配置，不能用預設的名字。關於這兩個值的配置，我們可以在zookeeper的cli來檢視路徑：

（2）master file：conf/masters

ip:webUI,這裡要將所有jobmanager的ip（host）與webUI（預設8081，可更改）都寫好。

（3）配置zookeeper server
在zookeeper的zoo.cfg中配置，Flink之前應該已經配置好，這裡忽略。

（4）啟動zookeeper、Flink：

[[email protected] bin]$ start-cluster.sh 
Starting HA cluster with 3 masters.
Starting jobmanager daemon on host flink.
Starting jobmanager daemon on host data0.
Starting jobmanager daemon on host mf.
Starting taskmanager daemon on host mf42.
Starting taskmanager daemon on host data1.
Starting taskmanager daemon on host s1.
Starting taskmanager daemon on host cninfo.
[[email protected] bin]$ 

webUI也可以看到配置資訊以及log資訊：

注意，當前的jobmanager的leader是192.168.4.41。

3、fail over測試

當前的jobmanager的leader是mf，程式正在執行中。

首先，我們停掉41上的jobmanager程序，模擬leader jobmanager的crash：

之後，webUI停止工作，此時後臺進行jobmanager的failover，我們通過log檔案觀察failover的過程：

2016-10-31 11:44:53,801 WARN  akka.remote.ReliableDeliverySupervisor                        - Association with remote system [akka.tcp://flink@192.168.4.41:7593] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
2016-10-31 11:45:34,030 INFO  org.apache.flink.runtime.webmonitor.JobManagerRetriever       - New leader reachable under akka.tcp://flink@192.168.4.22:2013/user/jobmanager:14062b96-52d9-4f7d-abda-b1b475581596.

原來的leader：41連線失敗，大概40秒後，恢復完成，新的leader：22.再次觀察webUI：

jobmanager 的 HA大致的過程演示完畢。