1. 程式人生 > >Yarn HA

Yarn HA

文章目錄


Yarn HA 和HDFS HA 一樣為了解決單點故障問題

架構

在這裡插入圖片描述

各個元件的作用

ZKFC:

zkfc,只作為RM程序的一個執行緒而非獨立的守護程序來獨立存在

RMStateStore::
  • .RM把job資訊存在在ZK的/rmstore下,activeRM會向這個目錄寫app資訊
  • 當active RM掛了,另外一個standby RM通過zkfc選舉成功為active,會從/rmstore讀取相應的作業資訊。
    重新構建作業的記憶體資訊,啟動內部服務,開始接收NM的心跳,構建叢集的資源資訊,並且接收客戶端的作業提交請求。
RM:
  • 啟動時候的會向ZK的目錄/hadoop-ha寫個lock檔案,寫成功的話,就為active,否則為standby。
    然後standby rm節點會一直監控這個lock檔案是否存在,假如不存在,就試圖建立,假如成功就為active。
  • 接收client的請求。接收和監控NM的資源狀況彙報,負載資源的分配和排程。
  • 啟動和監控ApplicationMaster(AM)
NM:
  • 啟動container執行task計算
  • 上報資源
  • 彙報task進度給AM ApplicationMaster