hadoop叢集搭建
阿新 • • 發佈:2020-07-16
1、yarn安裝:
yarn叢集中有兩個角色:
主節點:Resource Manager 1臺
從節點:Node Manager N臺
Resource Manager一般安裝在一臺專門的機器上
Node Manager應該與HDFS中的data node重疊在一起
修改配置檔案:
yarn-site.xml
<property> <name>yarn.resourcemanager.hostname</name> <value>hdp-04</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
然後複製到每一臺機器上
然後在hdp-04上,修改hadoop的slaves檔案,列入要啟動nodemanager的機器
然後將hdp-04到所有機器的免密登陸配置好
然後,就可以用指令碼啟動yarn叢集:
sbin/start-yarn.sh
停止:
sbin/stop-yarn.sh
啟動完成後,可以在windows上用瀏覽器訪問resourcemanager的web埠:
看resource mananger是否認出了所有的node manager節點