搭建yarn方式管理hadoop2.x
yarn負責叢集資源管理,用yarn方式管理mapreducer:
客戶端提交jar至resourcemanager,resourcemanager分發jar包,NodeManager中的App Mstr元件負責執行,並向resourcemanger請求資源,App Mstr執行的狀態向nodemanager彙報。
nodemanager(負責任務的排程和執行)與datanode在同一臺機器上,nodemanager中的container元件監控資源.
搭建yarn環境:
1.1.vi yarn-site.xml,內容如下:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!--不用和hdfs的nameservices名字重複就行 -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>aaa</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!--resoucemanager節點 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node01</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node04</value>
</property>
<!--zookeeper節點 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node01:2181,node02:2181,node03:2181</value>
</property>
1.2.vi mapred-site.xml,內容如下:
<!--mapreduce執行環節是在yarn中 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
1.3 在node01上執行start-yarn.sh,在node04的手動啟動備用的resourceManager,命令:yarn-daemon.sh start resourcemanager
1.4 頁面url訪問:node01:8088,http方式監控resourcemanager頁面。
如圖: