CDH叢集配置資源佇列
阿新 • • 發佈：2018-12-21
背景：叢集有若干任務在線上執行其中的一個任務資源佔用量大執行時間長，導致無法正常在生產環境進行hive的活動，影響問題排查等工作，可以通過資源隔離來解決這個問題。
配置思路：
將日常任務與隨機需求隔離，日常任務有hive指令碼，mr任務產看job資訊得到用到的使用者有三個：ubun，hive，admin；因此可以新增使用者，然後給新增的使用者設定單獨的資源佇列，其他使用者均使用default佇列即可；
配置過程：
- 設定兩個yarn叢集引數，禁止自動建立資源佇列
- yarn.scheduler.fair.user-as-default-queue false
- yarn.scheduler.fair.allow-undeclared-pools
- yarn.scheduler.fair.user-as-default-queue false
2.建立動態資源池
- 建立資源池並且將原有資源池進行更改
- 建立新增使用者的資源池，不要設定為父池！
- 將原有的資源池自動建立選項都去掉
- 根據自身需求來設定資源權重我這裡講default設定為8其餘兩個為1
3.定義放置規則
注意順序即可。
4.使用者限制根據自身需求設定即可一般情況下只有特殊關注的才設定為單獨使用者使用比如新增的佇列為haha那麼haha佇列就只能有haha使用者可以訪問其他的佇列不做特殊處理。