Hadoop叢集的格式化、叢集執行學習筆記
阿新 • • 發佈:2019-02-01
1 格式化:
Hadoop Startup
To start a Hadoop cluster you will need to start both the HDFS and YARN cluster.
The first time you bring up HDFS, it must be formatted. Format a new distributed filesystem as hdfs:
[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>
即:./hdfs namenode -format
2.啟動hdfs: start-dfs.sh
通過50070埠訪問datanode
3.啟動yarn: start-yarn.sh
yarn管理的資源指記憶體/CPU等
通過8088埠訪問yarn上執行的程式。
4.mr-jobhistory-daemon.sh start historyserver
檢視job history server 上執行過的job
5.關閉: stop-yarn.sh/stop-dfs.sh/mr-jobhistory-daemon.sh stop historyserver
關閉hdfs慢是因為作為檔案管理系統有很多元資料。
6.為什麼不用stat-all.sh
(1)分別啟動時,如果發生問題,可以很快定位到問題所在
(2)如執行spark,直接啟動yarn即可,不需要啟動hdfs。