hadoop的yarn資源佇列
阿新 • • 發佈:2018-12-09
1.圖示
2. hadoop資源分配的預設配置
在搭建完成後我們發現對於資源分配方面,yarn的預設配置是這樣的,也就是有一個預設的佇列 事實上,是否使用CapacityScheduler元件是可以配置的,但是預設配置就是這個CapacityScheduler,如果想顯式配置需要修改 conf/yarn-site.xml 內容如下:
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server .resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
可以看到預設是org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
這個排程器,那麼這個排程器的名字是什麼呢?
我們可以在/Users/lcc/soft/hadoop/hadoop-2.7.4/etc/hadoop/capacity-scheduler.xml
檔案中看到
<property>
<name> yarn.scheduler.capacity.root.queues</name>
<value>default</value>
<description>
The queues at the this level (root is the root queue).
</description>
</property>
可以看到預設的佇列名字為default
(知道名字有什麼用?我們可以根據nameNode地址,和排程器名稱,獲取機器相關的資訊,比如記憶體,磁碟,cpu等資源用了多少,還剩下多少)