目錄

• MR1.X執行架構總結
• MRv1角色
• 弊端
• MR2.X-Yarn資源排程器
• MRv2角色

MR1.X執行架構總結

MRv1角色

• JobTracker
  核心，主，單點
  排程所有的作業
  監控整個叢集的資源負載
• TaskTracker
  從，自身節點資源管理
  和JobTracker心跳，彙報資源，獲取Task
• Client
  作業為單位
  最終提交作業到JobTracker

弊端

• JobTracker：負載過重，單點故障
• 資源管理與計算排程強耦合，其他計算框架需要重複實現資源管理
• 不同框架對資源不能全域性管理

MR2.X-Yarn資源排程器

MRv2角色

• ResourceManager
  主，核心
  叢集節點資源管理
• NodeManager
  與RM彙報資源
  管理Container生命週期
• Container：【節點NM，CPU,MEM,I/O大小，啟動命令】
  預設NodeManager啟動執行緒監控Container大小，超出申請資源額度，kill
  支援Linux核心的Cgroup
• ApplicationMaster
  作業為單位，避免單點故障，負載到不同的節點
  為task申請資源（Task-Container）
• Client：
  請求資源建立AM
  與AM互動