1. 程式人生 > >Hadoop叢集的格式化、叢集執行學習筆記

Hadoop叢集的格式化、叢集執行學習筆記

1 格式化:

Hadoop Startup

To start a Hadoop cluster you will need to start both the HDFS and YARN cluster.

The first time you bring up HDFS, it must be formatted. Format a new distributed filesystem as hdfs:

[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>

即:./hdfs namenode -format

2.啟動hdfs:  start-dfs.sh

通過50070埠訪問datanode

3.啟動yarn:    start-yarn.sh

yarn管理的資源指記憶體/CPU

通過8088埠訪問yarn上執行的程式。

4.mr-jobhistory-daemon.sh start historyserver

檢視job history server 上執行過的job

5.關閉: stop-yarn.sh/stop-dfs.sh/mr-jobhistory-daemon.sh stop historyserver

關閉hdfs慢是因為作為檔案管理系統有很多元資料。

6.為什麼不用stat-all.sh

(1)分別啟動時,如果發生問題,可以很快定位到問題所在

(2)如執行spark,直接啟動yarn即可,不需要啟動hdfs