當一個NameNode被成功切換為Active狀態時，它會在ZK內部建立一個臨時的znode，在znode中將會保留當前Active NameNode的一些資訊，比如主機名等等。當Active NameNode出現失敗或連線超時的情況下，監控程式會將ZK上對應的臨時znode進行刪除，znode的刪除事件會主動觸發到下一次的Active NamNode的選擇。

因為ZK是具有高度一致性的，它能保證當前最多隻能有一個節點能夠成功建立znode，成為當前的Active Name。

現在檢視zookeeper的znode資訊：

[[email protected] ~]# /etc/init.d/zookeeper-client 
 

Connecting to localhost:2181
Welcome to ZooKeeper!
JLine support is enabled

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] ls /
[cluster, controller_epoch, brokers, zookeeper, hadoop-ha, admin, isr_change_notification, consumers, config, hbase]
[zk: localhost:2181(CONNECTED) 2] get /hadoop-ha

cZxid
 
 = 0x100000002
ctime = Tue Dec 05 19:43:07 EST 2017
mZxid = 0x100000002
mtime = Tue Dec 05 19:43:07 EST 2017
pZxid = 0x700000017
cversion = 3
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1
[zk: localhost:2181(CONNECTED) 3] ls /hadoop-ha 
[myCluster]
[zk: localhost:2181(CONNECTED) 4]

HDFS HA自動切換機制的核心物件是ZKFC，也就是我們平常在NameNode節點上會啟動的ZKFC程序。

在ZKFC的程序內部，執行著3個物件服務：

• HealthMonitor：監控NameNode是否不可用或是進入了一個不健康的狀態。
• ActiveStandbyElector：控制和監控ZK上的節點的狀態。
• ZKFailoverController：協調HealMonitor和ActiveStandbyElector物件，處理它們發來的event變化事件，完成自動切換的過程。

通常情況下Namenode和ZKFC同佈署在同一臺物理機器上, HealthMonitor, FailoverController, ActiveStandbyElector在同一個JVM程序中(即ZKFC), Namenode是一個單獨的JVM程序。

(1) Monitor and try to take active lock: 向zookeeper搶鎖，搶鎖成功的zkfc，指導對應的NN成為active的NN; watch鎖對應的znode，當前active NN的狀態發生變化導致失鎖時，及時搶鎖，努力成為active NN
(2) Monitor NN liveness and health: 定期檢查對應NN的狀態, 當NN狀態發生變化時，及時通過ZKFC做相應的處理
(3) Fences other NN when needed: 當前NN要成為active NN時，需要fence其它的NN，不能同時有多個active NN

ZKFC的執行緒模型總體上來講比較簡單的，它主要包括三類執行緒，一是主執行緒；一是HealthMonitor執行緒; 一是zookeeper客戶端的執行緒。它們的主要工作方式是：
(1) 主執行緒在啟動所有的服務後就開始迴圈等待
(2) HealthMonitor是一個單獨的執行緒，它定期向NN發包，檢查NN的健康狀況
(3) 當NN的狀態發生變化時，HealthMonitor執行緒會回撥ZKFailoverController註冊進來的回撥函式，通知ZKFailoverController NN的狀態發生了變化
(4) ZKFailoverController收到通知後，會呼叫ActiveStandbyElector的API，來管理在zookeeper上的結點的狀態
(5) ActiveStandbyElector會呼叫zookeeper客戶端API監控zookeeper上結點的狀態，發生變化時，回撥ZKFailoverController的回撥函式，通知ZKFailoverController，做出相應的變化

public enum State {
    /**
     *  1.The health monitor is still starting up.HealMonitor
     *    初始化啟動狀態
     */
    INITIALIZING,

    /**
     * 2.The service is not responding to health check RPCs.
     *  健康檢查無響應狀態
     */
    SERVICE_NOT_RESPONDING,

    /**
     * 3.The service is connected and healthy. 
     *   服務檢測健康狀態
     */ 
    SERVICE_HEALTHY,

    /**
     * 4.The service is running but unhealthy.
     *   服務檢查不健康狀態
     */ 
    SERVICE_UNHEALTHY,

    /**
     * 5.The health monitor itself failed unrecoverably and can no longer provide accurate information.
     * 監控服務本身失敗不可用狀態
     * /
    HEALTH_MONITOR_FAILED;
  }

HealMonitor物件檢測NameNode的健康狀況的邏輯其實非常簡單：傳送一個RPC請求，檢視是否有響應。