1. 程式人生 > >MapReduce2提交到yarn上工作流程

MapReduce2提交到yarn上工作流程

先來一副圖展示MapReduce2作業提交到yarn上的流程。

1.使用者向yarn的RM提交應用程式,其中包括Application Master程式 啟動ApplicationMaster命令等。

2.RM首先為該app分配一個container,並與對應的nm通訊,要求nm在這個container中啟動應用程式的Application master

3.application master首先向applications manager註冊,這樣就可以通過web 8888,檢視應用程式的執行狀態,且監控它的執行狀態

4.application master向resource sheduler申請和領取資源。

5.application master領取到資源後,便於對應的nm通訊,要求它啟動container。

6.nm節點啟動container容器,執行task任務。

7.各個容器中的任務,通過rpc向application master彙報自己的狀態和進度,讓application master隨時掌握各個任務task的執行狀態,在任務失敗的時候,重新任務。這時候使用者就可以通過web介面實時檢視應用程式的執行狀態。

8.application master執行完畢後,application master向applications master登出並關閉。

當用戶向Yarn中提交一個應用程式,分為2階段:
1.啟動app master  1,2
2.app master申請資源 執行任務 結束任務 3-8