基於Hadoop2.6.5搭建yarn叢集
阿新 • • 發佈：2021-02-03
目錄
1. 前置準備
1.1 HDFS叢集搭建啟動
部署並啟動HDFS叢集，參考教程基於Hadoop2.6.5搭建HDFS叢集(HA模式)
1.2 yarn節點設計
| NameNode | JournalNode | DataNode | ZKFC | Zookeeper | ResourceManager | NodeManager | |
| node01 | √ | √ | √ | ||||
| node02 | √ | √ | √ | √ | √ | √ | |
| node03 | √ | √ | √ | √ | √ | ||
| node04 | √ | √ | √ | √ |
2. yarn配置
1.1 編輯mapred-site.xml檔案
進入Hadoop配置檔案目錄
cd $HADOOP_HOME/etc/hadoop重新命名配置檔案
cp mapred-site.xml.template mapred-site.xml編輯mapred-site.xml
vi mapred-site.xml新增配置，具體含義參考官網 mapred-default.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
1.2 編輯yarn-site.xml檔案
編輯vi yarn-site.xml
vi yarn-site.xml新增配置，具體含義參考官網yarn-default.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.zk-address</name> <value>node02:2181,node03:2181,node04:2181</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>mycluster</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>node03</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>node04</value> </property>
2.3 同步配置檔案
scp mapred-site.xml yarn-site.xml node02:`pwd`
scp mapred-site.xml yarn-site.xml node03:`pwd`
scp mapred-site.xml yarn-site.xml node04:`pwd`3. 啟動 & 驗證
3.1 啟動yarn
在node01節點執行以下命令
start-yarn.sh
3.2 啟動ResourceManager
在node03、node04節點執行以下命令
yarn-daemon.sh start resourcemanager
3.3 驗證結果
使用windows主機訪問http://node03節點IP:8088/，顯示如下頁面
檢視主節點活躍狀態
檢視NodeManager連線情況
使用windows主機訪問http://node04節點IP:8088/，顯示如下頁面後跳轉至叢集監控頁面
檢視備機狀態
至此yarn叢集部署啟動成功