1. 程式人生 > >spark學習-Master資源排程分配演算法

spark學習-Master資源排程分配演算法

Master資源排程分配演算法:

1.Application的排程演算法有兩種,一種是spreadOutApps,另一種是非spreadOutApps。

2.spreadOutApps,會將每個Application要啟動的executor都平均分配到各個worker上去。(比如有10個worker,20個cpu core要分配,那麼實際會迴圈兩遍worker,每個worker分配一個core,最後每個worker分配了2個core,這裡的executor數量可能會與spark-submit設定的不一致)

3.非spreadOutApps,將每個Application儘可能分配到儘量少的worker上去。(比如總共有10個worker,每個有10個core,app總共要分配20個core,其實只會分配到兩個worker上,每個worker佔滿10個core,其餘app只能分配到下一個worker,這裡的executor數量可能會與spark-submit設定的不一致)