Spark基本架構及原理
阿新 • • 發佈：2018-12-20
- Spark on YARN模式根據Driver在叢集中的位置分為兩種模式：一種是YARN-Client模式，另一種是YARN-Cluster（或稱為YARN-Standalone模式）
- Yarn-Client模式中，Driver在客戶端本地執行，這種模式可以使得Spark Application和客戶端進行互動，因為Driver在客戶端，所以可以通過webUI訪問Driver的狀態，預設是http://hadoop1:4040訪問，而YARN通過http:// hadoop1:8088訪問
- YARN-client的工作流程步驟為：
- Spark Yarn Client向YARN的ResourceManager申請啟動Application Master。同時在SparkContent初始化中將建立DAGScheduler和TASKScheduler等，由於我們選擇的是Yarn-Client模式，程式會選擇YarnClientClusterScheduler和YarnClientSchedulerBackend
- ResourceManager收到請求後，在叢集中選擇一個NodeManager，為該應用程式分配第一個Container，要求它在這個Container中啟動應用程式的ApplicationMaster，與YARN-Cluster區別的是在該ApplicationMaster不執行SparkContext，只與SparkContext進行聯絡進行資源的分派
- Client中的SparkContext初始化完畢後，與ApplicationMaster建立通訊，向ResourceManager註冊，根據任務資訊向ResourceManager申請資源（Container）
- 一旦ApplicationMaster申請到資源（也就是Container）後，便與對應的NodeManager通訊，要求它在獲得的Container中啟動CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend啟動後會向Client中的SparkContext註冊並申請Task
- client中的SparkContext分配Task給CoarseGrainedExecutorBackend執行，CoarseGrainedExecutorBackend執行Task並向Driver彙報執行的狀態和進度，以讓Client隨時掌握各個任務的執行狀態，從而可以在任務失敗時重新啟動任務
- 應用程式執行完成後，Client的SparkContext向ResourceManager申請登出並關閉自己