1. 程式人生 > >Hadoop,Hbase啟動及用web檢視hadoop執行狀態

Hadoop,Hbase啟動及用web檢視hadoop執行狀態

一 啟動順序(對前面安裝文件做個總結)

1 啟動hadoop:bin/start-dfs.sh(注意:第一次啟動hadoop之前必須namenode -format),啟動完成後,使用jps命令檢視:

Master上有兩個程序:namenode和secondarynamenode

slave上有一個程序:datanode

2 啟動yarn:bin/start-yarn.sh,啟動完成後,使用jps命令檢視:

Master上又啟動了一個新程序:resourcemanager

slave上又啟動了一個新程序:nodemanageer

3 啟動zookeeper:bin/zkServer.sh start(Master和slave上都要啟動,第一步和第二步只在Master上啟動即可),啟動完成後,使用jps命令檢視:

Master和slave上又多了一個新程序:quorunpeermain

4 啟動Hbase:bin/start-hbase.sh,啟動完成後,使用jps命令檢視:

Master上多了一個程序:HMaster

slave上多了一個程序:HRegionserver

至此,啟動完成,可以進入Hbase shell,建表,新增資料等操作,關於Hbase shell命令,可以參考下一篇部落格

二使用web檢視hadoop的執行狀態

檢視HDFS叢集狀態,訪問如下地址:http://master:50070

2 檢視web控制檯狀態:http://master:8088(yarn.resourcemanager.webapp.address)

3 檢視HBase的狀態:http://localhost:60010

對於hadoop2.2.0,只發現了上述兩個web地址,可能還有其他的,hadoop1.x和hadoop0.20.x的web地址對應的埠可能不太一樣,也可能和配置檔案有關,可以參考下面這篇部落格(http://blog.csdn.net/weixuehao/article/details/16847349)(針對hadoop1.x)

上一篇文章去部落格園去CSDN),我們安裝完hadoop,下面我們從視覺上看看hadoop怎麼玩的。 

我們可以在win7系統上,通過web介面,在瀏覽器位址列輸入地址,直接檢視hadoop的執行情況;

10.10.11.191:50030

這個裡面,我們可以看到Map/Reduce的管理情況

10.10.11.191:50070

這裡可以看到HDFS的管理情況。

但是在這裡,會有一個問題。

問題點選上圖中,紅框鎖定的連結,Browser the filesystem,打不開介面。這是什麼情況呢?

點選Live Nodes,進入如下介面:

點選host2,同樣打不開介面……

host2對應的ip為10.10.11.192

而連結地址為host2:50070/browseDirectory.jsp?namenodeInfoPort=50070&dir=%2F

直接訪問的host2主機地址。

很明顯,出現這種狀況的原因是win7電腦,並不知道host2是誰,所以需要在win7電腦的hosts檔案中,新增上host2,host3,host4,master主機和ip地址的對映

win7系統,hosts檔案位置:C:\Windows\System32\drivers\etc

在win7電腦上,新增完hosts配置,我們就可以解決上面的問題了。host2也就可以訪問了。如下

去我的部落格園部落格瀏覽:http://www.cnblogs.com/laov/p/3433994.html

關於檢視hadoop叢集上的web介面以及和hadoop有關的中文文件,可以參考:

http://docs.aws.amazon.com/zh_cn/ElasticMapReduce/latest/DeveloperGuide/emr-manage-view-web-interfaces.html

http://docs.aws.amazon.com/zh_cn/ElasticMapReduce/latest/DeveloperGuide/emr-hadoop-2.2.0-features.html