1. 程式人生 > >hadoop的yarn資源佇列

hadoop的yarn資源佇列

1.圖示

2. hadoop資源分配的預設配置

在搭建完成後我們發現對於資源分配方面,yarn的預設配置是這樣的,也就是有一個預設的佇列 事實上,是否使用CapacityScheduler元件是可以配置的,但是預設配置就是這個CapacityScheduler,如果想顯式配置需要修改 conf/yarn-site.xml 內容如下:

<property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server
.resourcemanager.scheduler.capacity.CapacityScheduler</value> </property>

可以看到預設是org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler這個排程器,那麼這個排程器的名字是什麼呢?

我們可以在/Users/lcc/soft/hadoop/hadoop-2.7.4/etc/hadoop/capacity-scheduler.xml檔案中看到

<property>
    <name>
yarn.scheduler.capacity.root.queues</name> <value>default</value> <description> The queues at the this level (root is the root queue). </description> </property>

可以看到預設的佇列名字為default(知道名字有什麼用?我們可以根據nameNode地址,和排程器名稱,獲取機器相關的資訊,比如記憶體,磁碟,cpu等資源用了多少,還剩下多少)