yarn資源管理優化
阿新 • • 發佈:2018-11-05
叢集環境: chd5-2.5.2
我們叢集使用的是FailScheduler,如果佇列引數設定不合理,會直接影響到任務執行的快慢。
佇列設定不合理
舉例如下:
現狀:該隊裡minshare設定的過小,同時起的任務太多
導致的問題:該佇列中平均每個任務分的資源比較少,任務跑的特別慢,同時,任務之間會相互搶佔container
比如下面的任務,跑了30多個小時,還沒跑完
看一下任務詳情:
1,當前只分配了11個container,還差約4000個cotnainer才能完成任務,
2,container被kill掉了約16000個,資源浪費嚴重
container 被kill掉的原因,大部分是因為container被別的任務搶佔。:
解決辦法:
1)調整minshare,maxshare
2)調整maxrunningapp
引數的詳細解釋,可以參考
http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-fair-scheduler/
--------------------- 本文來自 wisgood 的CSDN 部落格 ,全文地址請點選:https://blog.csdn.net/wisgood/article/details/48715629?utm_source=copy