1. 程式人生 > 其它 >【hadoop】啟動叢集

【hadoop】啟動叢集

技術標籤:大資料

一、啟動方式

要啟動Hadoop叢集,需要啟動HDFS和YARN兩個叢集。
注意:首次啟動HDFS時,必須對其進行格式化操作。本質上是一些清理和準備工作,因為此時的HDFS在物理上還是不存在的。
在node1上執行格式化指令

hadoop namenode -format

二、單節點逐個啟動

在node1主機上使用以下命令啟動HDFS NameNode:

hadoop-daemon.sh start namenode

在node2主機上使用以下命令啟動secondarynamenode:

hadoop-daemon.sh start secondarynamenode

在node1、node2、node3三臺主機上,分別使用以下命令啟動HDFS DataNode:

hadoop-daemon.sh start datanode

在node1主機上使用以下命令啟動YARN ResourceManager:

yarn-daemon.sh  start resourcemanager

在node1、node2、node3三臺主機上使用以下命令啟動YARN nodemanager:

yarn-daemon.sh start nodemanager

以上指令碼位於/export/server/hadoop-2.7.5/sbin目錄下。如果想要停止某個節點上某個角色,只需要把命令中的start改為stop即可。

三、指令碼一鍵啟動——分模組啟動(推薦)

啟動HDFS

start-dfs.sh

啟動Yarn

start-yarn.sh

啟動歷史任務服務程序

mr-jobhistory-daemon.sh start historyserver

啟動之後,使用jps命令檢視相關服務是否啟動,jps是顯示Java相關的程序命令。
node1:
在這裡插入圖片描述

四、遇到的問題

1.問題描述

hadoop啟動start-all.sh出錯
(master: ssh: connect to host master port 22: Connection refused)

2.原因

不能訪問node01、02和03
因為hosts檔案中對映未設定對

3.解決

修改hosts檔案:
在這裡插入圖片描述
改成虛擬機器的靜態地址:
在這裡插入圖片描述
修改後,重新啟動叢集,jps檢視程序:
在這裡插入圖片描述
啟動成功!