1. 程式人生 > >hadoop構建偽分散式環境時,可能的出錯處理 比如8088打不開

hadoop構建偽分散式環境時,可能的出錯處理 比如8088打不開

基於本人寫的hadoop偽分散式環境搭建講解:

連結:https://blog.csdn.net/weixin_39435629/article/details/84841252

查錯常用命令彙總:

$>jps    (檢視hadoop的啟動程序)

$>ps -ef | grep java (檢視java中的程序)

$>netstat -tnlp (檢視啟動執行的埠)

$>kill 12345 (關閉12345程序,建議多次執行,確認該程序關閉)

1、首先確認使用伺服器配置:

本機:2g記憶體   該伺服器目前只有java和hadoop  記憶體佔用情況

建議:儘量使用差不多的伺服器,如果可用記憶體太少,會導致載入速度太慢,導致啟動超時等不必要的問題,影響整體的除錯

2、啟動時報錯,找不到java環境

處理方式:到hadoop的配置檔案下,找到hadoop-env.sh中的JAVA_HOME 修改為實際路徑

3、啟動之後50070(資料節點)能訪問,但是8088無法訪問:

處理方式:

1、首先確認(ResourceManager NodeManager)已啟動,命令(jps)

2、檢視埠啟動情況(netstat -tnlp)確認8088埠已啟動

3.確認關於yarn的配置檔案yarn-site.xml中的yarn.resourcemanager.hostname 屬性為本機的hostname

4、如果多次重啟hadoop叢集,建議清除日誌檔案(/soft/hadoop/logs/)(命令:rm -rf * (使用時慎重,直接清空當前所在檔案的所有檔案))和總目錄下的(/tmp ) 檔案下的所有檔案 ,然後再次格式化hadoop(命令:hdfs namenode -format),然後重啟專案,該步驟建議初學者,當有配置檔案修改時就執行,防止別的錯誤,同時報錯也可以進行檢視日誌檔案

注意:大家有不可解決的偽分散式問題,也可以給我留言。