1. 程式人生 > 其它 >Hadoop常見錯誤及解決方案

Hadoop常見錯誤及解決方案

1)防火牆沒關閉、或者沒有啟動YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2)主機名稱配置錯誤

3)IP地址配置錯誤

4)ssh沒有配置好

5)root使用者和atguigu兩個使用者啟動叢集不統一

6)配置檔案修改不細心

7)未編譯原始碼

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

8)不識別主機名稱

java.net.UnknownHostException: hadoop102: hadoop102

        at java.net.InetAddress.getLocalHost(InetAddress.java:1475)

        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)

        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)

        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)

        at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:415)

解決辦法:

(1)在/etc/hosts檔案中新增192.168.1.102 hadoop102

(2)主機名稱不要起hadoop hadoop000等特殊名稱

9)DataNode和NameNode程序同時只能工作一個。

10)執行命令不生效,貼上word中命令時,遇到-和長–沒區分開。導致命令失效

解決辦法:儘量不要貼上word中程式碼。

11)jps發現程序已經沒有,但是重新啟動叢集,提示程序已經開啟。原因是在linux的根目錄下/tmp目錄中存在啟動的程序臨時檔案,將叢集相關程序刪除掉,再重新啟動叢集。

12)jps不生效。

原因:全域性變數hadoop java沒有生效。解決辦法:需要source /etc/profile檔案。

13)8088埠連線不上

[atguigu@hadoop102 桌面]$ cat /etc/hosts

註釋掉如下程式碼

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

#::1         hadoop102

關鍵詞:大資料培訓