Yarn三種排程策略對比
理想情況下，我們應用對Yarn資源的請求應該立刻得到滿足，但現實情況資源往往是有限的，特別是在一個很繁忙的叢集，一個應用資源的請求經常需要等待一段時間才能的到相應的資源。在Yarn中，負責給應用分配資源的就Scheduler。其實排程本身就是一個難題，很難找到一個完美的策略可以解決所有的應用場景。為此，Yarn提供了多種排程器和可配置的策略供我們選擇。
在Yarn中有三種排程器可以選擇：FIFO Scheduler ，Capacity Scheduler，FairScheduler。
1、FIFO Scheduler
FIFO Scheduler把應用按提交的順序排成一個佇列，這是一個先進先出佇列，在進行資源分配的時候，先給佇列中最頭上的應用進行分配資源，待最頭上的應用需求滿足後再給下一個分配，以此類推。
FIFO Scheduler是最簡單也是最容易理解的排程器，也不需要任何配置，但它並不適用於共享叢集。大的應用可能會佔用所有叢集資源，這就導致其它應用被阻塞。在共享叢集中，更適合採用Capacity Scheduler或Fair Scheduler，這兩個排程器都允許大任務和小任務在提交的同時獲得一定的系統資源。
從圖中可以看出，在FIFO 排程器中，小任務會被大任務阻塞。
2、Capacity Scheduler
而對於Capacity排程器，有一個專門的佇列用來執行小任務，但是為小任務專門設定一個佇列會預先佔用一定的叢集資源，這就導致大任務的執行時間會落後於使用FIFO排程器時的時間。
3、Fair Scheduler
在Fair排程器中，我們不需要預先佔用一定的系統資源，Fair排程器會為所有執行的job動態的調整系統資源。如下圖所示，當第一個大job提交時，只有這一個job在執行，此時它獲得了所有叢集資源；當第二個小任務提交後，Fair排程器會分配一半資源給這個小任務，讓這兩個任務公平的共享叢集資源。
需要注意的是，在下圖Fair排程器中，從第二個任務提交到獲得資源會有一定的延遲，因為它需要等待第一個任務釋放佔用的Container。小任務執行完成之後也會釋放自己佔用的資源，大任務又獲得了全部的系統資源。最終的效果就是Fair排程器即得到了高的資源利用率又能保證小任務及時完成。