YARN也採用了Master/Slave結構，其中，Master實現為ResourceManager，負責整個叢集資源的管理與排程；Slave實現為NodeManager，負責單個節點的資源管理與任務啟動 ResourceManager是整個YARN叢集中最重要的元件之一，它的設計直接決定了系統的可擴充套件性、可用性和容錯性等特點，它的功能較多，包括ApplicationMaster管理（啟動、停止等）、NodeManager管理、Application管理、狀態機管理等  

---

  ResourceManager負責叢集中所有資源的統一管理和分配，它接收來自各個節點的資源彙報資訊，並把這些資訊按照一定的策略分配給各個應用程式   ResourceManager基本職能   ResourceManager需通過兩個RPC協議與NodeManager和AppMaster互動,具體如下 :

• ResourceTracker : NodeManager通過該RPC協議向ResourceManager註冊、彙報節點健康狀況和Container執行狀態，並領取ResourceManager下達的命令，這些命令包括重新初始化、清理Container等，在該RPC協議中，ResourceManager扮演RPCServer的角色，而NodeManager扮演RPCClient的角色，換句話說，NodeManager與ResourceManager之間採用了“pull模型”,NodeManager總是週期性地主動向ResourceManager發起請求,並通過領取下達給自己的命令 
• ApplicationMasterProtocol ：應用程式的ApplicationMaster通過該RPC協議向ResourceManager註冊、申請資源和釋放資源。在該協議中，ApplicationMaster扮演RPC Client的角色，而ResourceManager扮演RPC Server的角色，換句話說，ResourceManager與ApplicationMaster之間採用了“pull模型”
• ApplicationClientProtocol ：應用程式的客戶端通過該RPC協議向ResouceManager提交應用程式、查詢應用程式狀態和控制應用程式等。在該協議中，應用程式客戶端扮演RPC Client的角色，而ResourceManager扮演RPC Server的角色

  ResourceManager主要完成以下幾個功能 ：

• 與客戶端互動，處理來自客戶端的請求
• 啟動和管理AppicationMaster，並在它執行失敗時重新啟動它
• 管理NodeManager，接收來自NodeManager的資源彙報資訊，並向NodeManager下達管理指令
• 資源管理與排程，接收來自AppMaster的資源申請請求，併為之分配資源

  ResouceManager內部架構   ResourceManager主要由以下幾個部分組成 ：

• 使用者互動模組。ResourceManager分別針對普通使用者、管理員和Web提供了三種對外服務，具體實現分別對應ClientRMService、AdminService和WebApp
• ClientRMService。ClientRMService是為普通使用者提供的服務，它處理來自客戶端各種RPC請求，比如提交應用程式、終止應用程式、獲取應用程式執行狀態等
• AdminService。ResourceManager為管理員提供了一套獨立的服務介面，以防止大量的普通使用者請求使管理員傳送的管理命令餓死，管理員可通過這些介面管理叢集，比如動態更新節點列表、更新ACL列表、更新佇列資訊等
• WebApp。為了更加友好地展示叢集資源使用情況和應用程式執行狀態等資訊，YARN對外提供了一個WEB介面，這一部分是YARN仿照Haml開發的一個輕量級嵌入式Web框架
• NM管理模組。該模組主要涉及以下元件 ：
• NMLivelinessMonitor。監控NM是否活著，如果一個NodeManager在一定時間內未彙報心跳資訊，則認為它死掉了，需將其從叢集中移除
• NodesListManager。維護正常節點和異常節點列表，管理exclude(類似於黑名單)和include(類似於白名單)節點列表，這兩個列表均是在配置檔案中設定的，可以動態載入
• ResourceTrackerService。處理來自NodeManager的請求，主要包括註冊和心跳兩種請求，其中，註冊時NodeManager啟動時發生的行為，請求包中包含節點ID、可用的資源上限等資訊；而心跳時週期性行為，包含各個Container執行狀態，執行的Application列表、節點資源狀況等資訊，作為請求的應答，ResourceTrackerService可為NodeManager返回待釋放的Container列表、Application列表等資訊
• AM管理模組。該模組主要涉及以下元件 ：
• AMLivelinessMonitor。監控AM是否活著，如果一個ApplicationMaster在一定時間內未彙報心跳資訊，則認為它死掉了，它上面所有正在執行的Container將被置為失敗狀態，而AM本身會被重新分配到另外一個節點上執行
• ApplicationMasterLauncher。與某個NodeManager通訊，要求它為某個應用程式啟動ApplicationMaster
• ApplicationMasterService。處理來自ApplicationMaster的請求，主要包括註冊和心跳兩種請求，其中，註冊是ApplicationMaster啟動時發生的行為，註冊請求包中包含ApplicationMaster啟動節點；對外RPC埠號和trackingURL等資訊；而心跳而是週期性行為，彙報資訊包含所需資源描述、待釋放的Container列表、黑名單列表等，而AMS則為之返回新分配的Container、失敗的Container、待搶佔的Container列表等資訊
• Application管理模組。該模組主要涉及以下元件 ：
• ApplicationACLsManager。管理應用程式訪問許可權，包含兩部分許可權 ：檢視許可權和修改許可權。檢視許可權主要用於檢視應用程式基本資訊，而修改許可權則主要用於修改應用程式優先順序、殺死應用程式等
• RMAppManager。管理應用程式的啟動和關閉
• ContainerAllocationExpirer。當AM收到RM新分配的一個Container後，必須在一定的時間內在對應的NM上啟動該Container，否則RM將強制回收該Container，而一個已經分配的Container是否該被回收則是由ContainerAllocationExpirer決定和執行的
• 狀態機管理模組。ResourceManager使用有限狀態機維護有狀態物件的生命週期，狀態機的引入使得YARN設計架構更加清晰。ResourceManager共維護了四類狀態機，分別是RMApp、RMAppAttempt、RMContainer和RMNode
• RMApp。RMApp維護了一個應用程式的整個執行週期，包括從啟動到執行結束整個過程。由於一個Application的生命週期可能會啟動多個Application執行例項，因此可認為，RMApp維護的是同一個Application啟動的所有執行例項的生命週期
• RMAppAttempt。一個應用程式可能啟動多個例項，即一個例項執行失敗後，可能再次啟動一個重新執行，而每次啟動稱為一個執行嘗試，用“RMAppAttempt”描述，RMAppAttempt維護了一次執行嘗試的整個生命週期
• RMContainer。RMContainer維護了一個Container的執行週期，包括從建立到執行結束整個過程。RM將資源封裝成Container傳送給應用程式的ApplicationMaster，而ApplicationMaster則會在Container描述的執行環境中啟動任務，因此，從這個層面上講，Container和任務的生命週期是一致的
• RMNode。RMNode維護了一個NodeManager的生命週期，包括啟動到執行結束整個過程
• 安全管理模組。ResourceManager自帶了非常全面的許可權管理機制，主要由ClientTOAMSecretManager、ContainerTokenSecretManager、ApplicationTokenSecretManager等模組完成
• 資源分配模組。該模組主要涉及一個元件 -- ResourceScheduler。ResourceScheduler是資源排程器，它按照一定的約束條件將叢集中的資源分配給各個應用程式，當前主要考慮記憶體和CPU資源。ResourceScheduler是一個插拔式模組，YARN自帶了一個批處理資源排程器 -- FIFO和兩個多使用者排程器 -- Fair Scheduler和Capacity Scheduler

                                               ResouceManager內部架構圖     我每天會寫文章記錄大資料技術學習之路,另外我自己整理了些大資料的學習資料,目前全部放在我的公眾號"SmallBird技術分享",加入我們一起學習交流,並且回覆'分享'會有大資料資源驚喜等著你~