1. 程式人生 > 實用技巧 >hadoop叢集搭建

hadoop叢集搭建

1、yarn安裝:

yarn叢集中有兩個角色:

主節點:Resource Manager 1臺

從節點:Node Manager N臺

Resource Manager一般安裝在一臺專門的機器上

Node Manager應該與HDFS中的data node重疊在一起

修改配置檔案:

yarn-site.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hdp-04</value>

</property>

 

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

然後複製到每一臺機器上

然後在hdp-04上,修改hadoop的slaves檔案,列入要啟動nodemanager的機器

然後將hdp-04到所有機器的免密登陸配置好

然後,就可以用指令碼啟動yarn叢集:

sbin/start-yarn.sh

停止:

sbin/stop-yarn.sh

啟動完成後,可以在windows上用瀏覽器訪問resourcemanager的web埠:

http://hdp-04:8088

看resource mananger是否認出了所有的node manager節點