【hadoop】啟動叢集
阿新 • • 發佈:2021-01-12
技術標籤:大資料
一、啟動方式
要啟動Hadoop叢集,需要啟動HDFS和YARN兩個叢集。
注意:首次啟動HDFS時,必須對其進行格式化操作。本質上是一些清理和準備工作,因為此時的HDFS在物理上還是不存在的。
在node1上執行格式化指令
hadoop namenode -format
二、單節點逐個啟動
在node1主機上使用以下命令啟動HDFS NameNode:
hadoop-daemon.sh start namenode
在node2主機上使用以下命令啟動secondarynamenode:
hadoop-daemon.sh start secondarynamenode
在node1、node2、node3三臺主機上,分別使用以下命令啟動HDFS DataNode:
hadoop-daemon.sh start datanode
在node1主機上使用以下命令啟動YARN ResourceManager:
yarn-daemon.sh start resourcemanager
在node1、node2、node3三臺主機上使用以下命令啟動YARN nodemanager:
yarn-daemon.sh start nodemanager
以上指令碼位於/export/server/hadoop-2.7.5/sbin目錄下。如果想要停止某個節點上某個角色,只需要把命令中的start改為stop即可。
三、指令碼一鍵啟動——分模組啟動(推薦)
啟動HDFS
start-dfs.sh
啟動Yarn
start-yarn.sh
啟動歷史任務服務程序
mr-jobhistory-daemon.sh start historyserver
啟動之後,使用jps命令檢視相關服務是否啟動,jps是顯示Java相關的程序命令。
node1:
四、遇到的問題
1.問題描述
hadoop啟動start-all.sh出錯
(master: ssh: connect to host master port 22: Connection refused)
2.原因
不能訪問node01、02和03
因為hosts檔案中對映未設定對
3.解決
修改hosts檔案:
改成虛擬機器的靜態地址:
修改後,重新啟動叢集,jps檢視程序:
啟動成功!