1. 程式人生 > >yarn任務調度--capacity scheduler(容量調度) / fair schedule

yarn任務調度--capacity scheduler(容量調度) / fair schedule

schedule contain 支持 all sched 提交 再次 彈性 ont

2019/2/19 星期二

yarn任務調度--capacity scheduler(容量調度) / fair scheduler(公平調度)
由於集群資源有限,當無法滿足眾多application 的資源請求時,yarn 需要適當的策略對application 的資源請求進行調度;
Scheduler 概述
Yarn 中實現的調度策略有三種:FIFO/Capacity/Fair Schedulers
(1)FIFO Scheduler:
將所有application 按提交的順序排隊,先進先出
優點---->簡單易懂且不用任何配置
缺點---->不適合於shared clusters;大的應用會將集群資源占滿從而導致大量應用等待

(2)Capacity Scheduler
將application 劃分為多條任務隊列,每條隊列擁有相應的資源 在隊列的內部,資源分配遵循FIFO 策略隊列資源支持彈性調整:一個隊列的空閑資源可以分配給“饑餓”隊列(註意:一旦之前的空閑隊列需求增長,因為不支持“先占”,不能強制kill 資源container,則需要等待其他隊列釋放資源;為防止這種狀況的出現,可以配置隊列最大資源進行限制)
任務隊列支持繼承結構

(3)Fair Scheduler
不需要為特定small application 保留資源,而是在需要執行時進行動態公平分配;動態資源分配有一個延後,因為需要等待large job 釋放一部分資源 Small job 資源使用完畢後,large job 可以再次獲得全部資源 Fair Scheduler 也支持在application queue 之間進行調度

yarn任務調度--capacity scheduler(容量調度) / fair schedule