Hadoop,Hbase啟動及用web檢視hadoop執行狀態
一 啟動順序(對前面安裝文件做個總結)
1 啟動hadoop:bin/start-dfs.sh(注意:第一次啟動hadoop之前必須namenode -format),啟動完成後,使用jps命令檢視:
Master上有兩個程序:namenode和secondarynamenode
slave上有一個程序:datanode
2 啟動yarn:bin/start-yarn.sh,啟動完成後,使用jps命令檢視:
Master上又啟動了一個新程序:resourcemanager
slave上又啟動了一個新程序:nodemanageer
3 啟動zookeeper:bin/zkServer.sh start(Master和slave上都要啟動,第一步和第二步只在Master上啟動即可),啟動完成後,使用jps命令檢視:
Master和slave上又多了一個新程序:quorunpeermain
4 啟動Hbase:bin/start-hbase.sh,啟動完成後,使用jps命令檢視:
Master上多了一個程序:HMaster
slave上多了一個程序:HRegionserver
至此,啟動完成,可以進入Hbase shell,建表,新增資料等操作,關於Hbase shell命令,可以參考下一篇部落格
二使用web檢視hadoop的執行狀態
1 檢視HDFS叢集狀態,訪問如下地址:http://master:50070
2 檢視web控制檯狀態:http://master:8088(yarn.resourcemanager.webapp.address)
3 檢視HBase的狀態:http://localhost:60010
對於hadoop2.2.0,只發現了上述兩個web地址,可能還有其他的,hadoop1.x和hadoop0.20.x的web地址對應的埠可能不太一樣,也可能和配置檔案有關,可以參考下面這篇部落格(http://blog.csdn.net/weixuehao/article/details/16847349)(針對hadoop1.x)
上一篇文章(去部落格園,去CSDN),我們安裝完hadoop,下面我們從視覺上看看hadoop怎麼玩的。
我們可以在win7系統上,通過web介面,在瀏覽器位址列輸入地址,直接檢視hadoop的執行情況;
10.10.11.191:50030
這個裡面,我們可以看到Map/Reduce的管理情況
10.10.11.191:50070
這裡可以看到HDFS的管理情況。
但是在這裡,會有一個問題。
問題:點選上圖中,紅框鎖定的連結,Browser the filesystem,打不開介面。這是什麼情況呢?
點選Live Nodes,進入如下介面:
點選host2,同樣打不開介面……
host2對應的ip為10.10.11.192
而連結地址為host2:50070/browseDirectory.jsp?namenodeInfoPort=50070&dir=%2F
直接訪問的host2主機地址。
很明顯,出現這種狀況的原因是win7電腦,並不知道host2是誰,所以需要在win7電腦的hosts檔案中,新增上host2,host3,host4,master主機和ip地址的對映
win7系統,hosts檔案位置:C:\Windows\System32\drivers\etc
在win7電腦上,新增完hosts配置,我們就可以解決上面的問題了。host2也就可以訪問了。如下
去我的部落格園部落格瀏覽:http://www.cnblogs.com/laov/p/3433994.html
關於檢視hadoop叢集上的web介面以及和hadoop有關的中文文件,可以參考:
http://docs.aws.amazon.com/zh_cn/ElasticMapReduce/latest/DeveloperGuide/emr-manage-view-web-interfaces.html
http://docs.aws.amazon.com/zh_cn/ElasticMapReduce/latest/DeveloperGuide/emr-hadoop-2.2.0-features.html