Yarn HA 原理
阿新 • • 發佈:2019-07-03
-
RMStateStore : 儲存在Zookeeper的/rmstore目錄
-
ResourceManager:
-
RecourseManager中有ZKFC執行緒
-
啟動的時候會向zk的/rmstore中寫look檔案, 寫成功為active, 否則為standby。ResourceManager的ZKFC會一直監控lock檔案是否存在
-
當ZKFC被選舉為active時, 會從RMStateStore 中讀取相應的作業資訊, 重新構建作業的記憶體資訊, 啟動內部服務, 開始接受NodeManager的心跳, 構建叢集的資源資訊, 並接受客戶端的作業請求。
-
當active的ResourceManager掛了, 另一個standby RecourseManager通過ZKFC選舉為active, 從RMStateStore 讀取相應的作業資訊, 重新構建作業的記憶體資訊, 啟動內部的服務
-
active ResourceManager 向RMStateStore中寫Application資訊
-
接收和監控ApplicationMaster on NodeManager節點的container(作業的主程式)
-
-
NodeManager:
- 節點資源的管理
- 啟動容器
- 執行task計算
- 上報資