1. 程式人生 > >yarn資源管理優化

yarn資源管理優化

叢集環境: chd5-2.5.2
我們叢集使用的是FailScheduler,如果佇列引數設定不合理,會直接影響到任務執行的快慢。

佇列設定不合理

舉例如下:
這裡寫圖片描述

現狀:該隊裡minshare設定的過小,同時起的任務太多
導致的問題:該佇列中平均每個任務分的資源比較少,任務跑的特別慢,同時,任務之間會相互搶佔container

比如下面的任務,跑了30多個小時,還沒跑完

這裡寫圖片描述

看一下任務詳情:
1,當前只分配了11個container,還差約4000個cotnainer才能完成任務,
2,container被kill掉了約16000個,資源浪費嚴重
這裡寫圖片描述
container 被kill掉的原因,大部分是因為container被別的任務搶佔。:

這裡寫圖片描述

解決辦法:

1)調整minshare,maxshare
2)調整maxrunningapp
引數的詳細解釋,可以參考
http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-fair-scheduler/

--------------------- 本文來自 wisgood 的CSDN 部落格 ,全文地址請點選:https://blog.csdn.net/wisgood/article/details/48715629?utm_source=copy