hadoop構建偽分散式環境時,可能的出錯處理 比如8088打不開
基於本人寫的hadoop偽分散式環境搭建講解:
連結:https://blog.csdn.net/weixin_39435629/article/details/84841252
查錯常用命令彙總:
$>jps (檢視hadoop的啟動程序)
$>ps -ef | grep java (檢視java中的程序)
$>netstat -tnlp (檢視啟動執行的埠)
$>kill 12345 (關閉12345程序,建議多次執行,確認該程序關閉)
1、首先確認使用伺服器配置:
本機:2g記憶體 該伺服器目前只有java和hadoop 記憶體佔用情況
建議:儘量使用差不多的伺服器,如果可用記憶體太少,會導致載入速度太慢,導致啟動超時等不必要的問題,影響整體的除錯
2、啟動時報錯,找不到java環境
處理方式:到hadoop的配置檔案下,找到hadoop-env.sh中的JAVA_HOME 修改為實際路徑
3、啟動之後50070(資料節點)能訪問,但是8088無法訪問:
處理方式:
1、首先確認(ResourceManager NodeManager)已啟動,命令(jps)
2、檢視埠啟動情況(netstat -tnlp)確認8088埠已啟動
3.確認關於yarn的配置檔案yarn-site.xml中的yarn.resourcemanager.hostname 屬性為本機的hostname
4、如果多次重啟hadoop叢集,建議清除日誌檔案(/soft/hadoop/logs/)(命令:rm -rf * (使用時慎重,直接清空當前所在檔案的所有檔案))和總目錄下的(/tmp ) 檔案下的所有檔案 ,然後再次格式化hadoop(命令:hdfs namenode -format),然後重啟專案,該步驟建議初學者,當有配置檔案修改時就執行,防止別的錯誤,同時報錯也可以進行檢視日誌檔案
注意:大家有不可解決的偽分散式問題,也可以給我留言。