Yarn資源調度管理
阿新 • • 發佈:2018-07-28
信息 ask 進程 節點管理 res 定時 nag 需要 size
啟動並監控Container(容器);
1.ResourceManager(資源管理器RM)常駐守護進程:
管理集群資源,負責全局資源的監控、分配和管理;
接收來自nodemanager的心跳信息,進行整體資源的匯總;
監控Applicacation Master的開啟和創建;
2.Nodemanager(節點管理器NM)常駐守護進程:
yarn中的每一臺節點服務器都運行一個nodemanager,Nodemanager相當於管理當前機器的一個代理;
負責本臺機器的程序運行,並且對本臺機器資源進行管理和監控;
Nodemanager定時向ResourceManager匯報本節點的資源(cpu、內存)使用情況;
啟動並監控Container(容器);
3.Applicacation Master(應用節點)守護進程:
用戶提交一個應用將會產生相對應的Applicacation Master(AM),AM常駐在 Nodemanager上;
每個AM都需要與Nodemanager進行資源協商,將獲取所需的資源(Container)用於任務(Task)的運行
監控任務(Task)的運行情況;
如果Task運行失敗,它將負責為其重新申請資源和啟動任務;
4.yarn調度方式
1.先進先出調度
2.容量調度
3.公平調度
Yarn資源調度管理