1. 程式人生 > >Yarn HA 原理

Yarn HA 原理

Yarn HA

  • RMStateStore : 儲存在Zookeeper的/rmstore目錄

  • ResourceManager:

    • RecourseManager中有ZKFC執行緒

    • 啟動的時候會向zk的/rmstore中寫look檔案, 寫成功為active, 否則為standby。ResourceManager的ZKFC會一直監控lock檔案是否存在

    • 當ZKFC被選舉為active時, 會從RMStateStore 中讀取相應的作業資訊, 重新構建作業的記憶體資訊, 啟動內部服務, 開始接受NodeManager的心跳, 構建叢集的資源資訊, 並接受客戶端的作業請求。

    • 當active的ResourceManager掛了, 另一個standby RecourseManager通過ZKFC選舉為active, 從RMStateStore 讀取相應的作業資訊, 重新構建作業的記憶體資訊, 啟動內部的服務

    • active ResourceManager 向RMStateStore中寫Application資訊

    • 接收和監控ApplicationMaster on NodeManager節點的container(作業的主程式)

  • NodeManager:

    • 節點資源的管理
    • 啟動容器
    • 執行task計算
    • 上報資