Spark的資源管理和排程模式
阿新 • • 發佈:2019-01-05
1.Spark-standalone
Standalone的模式下,spark的資源管理和排程是自己來管理和排程的,主要由master來管理。
2.Spark-yarn
ResourceManager
NodeManager
ApplicationMaster
Container(資源)
Task
Hadoop叢集上面 Yarn執行任務的流程:
Client提交任務給resourceManager,resourceManager會選擇一臺機器開啟一個container,在container裡面開啟一個applicationaster服務程序,applicationMaster進行任務的管理和排程,
Spark叢集基於yarn的時候任務的執行流程:
(1)client模式
Client提交任務給resourceManager,在提交任務的時候,在提交任務的那臺機器上面開啟一個driver服務程序,resourcemanager在接收到client提交的任務以後,在叢集中隨機選擇一臺機器分配一個
(2)Cluster模式
Spark叢集會在叢集中開啟一個driver,此時開啟就是applicationmaster和driver合二為一了。其他的都相同。
注:Standalone和yarn
3.spark-Mesos
方式類似yarn