hadoop中datanode無法啟動

阿新 • • 發佈：2019-02-01

多日無暇學習使用Hadoop了，今天在練習安裝使用Hive的時候發現檔案無法從本地拷貝到hadoop集群系統，老是報錯，錯誤內容為：

java.io.IOException: File … could only be replicated to 0 nodes, instead of 1。查詢namenode的日誌，也是報這個錯，而且非常多，即便在啟動的時候也是報類似的錯誤。這個學習環境為單namenode+2個datanode，使用dfsadmin -report報無資料節點，如下：

[[email protected] hadoop]$ hadoop dfsadmin -report

Configured Capacity: 0 (0 KB)
Present Capacity: 0 (0 KB)
DFS Remaining: 0 (0 KB)
DFS Used: 0 (0 KB)
DFS Used%: ?%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

————————————————-
Datanodes available: 0 (0 total, 0 dead)

重新格式化namenode，並重新啟動，故障依舊，清除歷史日誌，從datanode節點的日誌發現了錯誤“Incompatible namespaceIDs “，刪除了datanode的dfs.data.dir目錄，並重建，然後重新格式化namenode、啟動，發現dfsadmin -report還是沒有資料節點加入。再查日誌，發現錯誤不同了：All directories in dfs.data.dir are invalid。沒有生成目錄結構，正納悶呢，發現日誌中前面有警告：

Invalid directory in dfs.data.dir: Incorrect permissio
n for /hadoop/hadoop-data, expected: rwxr-xr-x, while actual: rwxrwxr-x。

根據警告內容，分別在兩個datanode上修改該目錄許可權：

[[email protected] logs]$ ssh datanode01.hadoop
Last login: Wed Mar 14 01:58:39 2012 from namenode.hadoop
[[email protected] ~]$ chmod g-w /hadoop/hadoop-data/
[

[email protected] ~]$ exit

[[email protected] logs]$ ssh datanode02.hadoop
Last login: Wed Mar 14 01:59:00 2012 from datanode01.hadoop
[[email protected] ~]$ chmod g-w /hadoop/hadoop-data/
[[email protected] ~]$ exit

啟動後，故障解除：

[[email protected] hadoop]$ hadoop dfsadmin -report
Configured Capacity: 158030774272 (147.18 GB)
Present Capacity: 141718949918 (131.99 GB)
DFS Remaining: 141718892544 (131.99 GB)
DFS Used: 57374 (56.03 KB)
DFS Used%: 0%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

————————————————-
Datanodes available: 2 (2 total, 0 dead)

Name: 172.21.126.102:50010
Decommission Status : Normal
Configured Capacity: 79015387136 (73.59 GB)
DFS Used: 28687 (28.01 KB)
Non DFS Used: 8155709425 (7.6 GB)
DFS Remaining: 70859649024(65.99 GB)
DFS Used%: 0%
DFS Remaining%: 89.68%
Last contact: Wed Mar 14 01:40:41 CST 2012

Name: 172.21.126.103:50010
Decommission Status : Normal
Configured Capacity: 79015387136 (73.59 GB)
DFS Used: 28687 (28.01 KB)
Non DFS Used: 8156114929 (7.6 GB)
DFS Remaining: 70859243520(65.99 GB)
DFS Used%: 0%
DFS Remaining%: 89.68%
Last contact: Wed Mar 14 01:40:41 CST 2012

執行hive測試，也能正常使用了：

hive> create table dummy(value STRING);
OK
Time taken: 10.642 seconds
hive> load data local inpath ‘/tmp/dummy.txt’ overwrite into table dummy;
Copying data from file:/tmp/dummy.txt
Copying file: file:/tmp/dummy.txt
Loading data to table default.dummy
Deleted hdfs://namenode.hadoop/user/hive/warehouse/dummy
OK
Time taken: 0.439 seconds
hive> select * from dummy;
OK
X
Time taken: 0.254 seconds
hive>

沒想到資料目錄的許可權檢查如此嚴格，多了使用者組的寫許可權能造成集群系統的無法啟動，在這記錄，以備查。

就是hadoop檔案許可權多增加了寫的許可權，造成datanode無法啟動，去掉寫的許可權就可以了！

hadoop中datanode無法啟動

hadoop中datanode無法啟動

Hadoop中nameNode無法啟動的問題

Hadoop的DataNode無法啟動問題解決

重新格式化hadoop的namenode導致datanode無法啟動的最簡單解決辦法

hadoop datanode 無法啟動

hadoop datanode 無法啟動之 namenode ID 不一致解決辦法。

hadoop偽分散式DataNode無法啟動

Hadoop多次格式化導致datanode無法啟動

啟動Hadoop時候datanode沒有啟動的原因及解決方案

namenode namespaceID與datanode namespaceID 不一致導致datanode無法啟動的問題

記一次springcloud整合到專案中，無法啟動，Failed to start bean 'eurekaAutoServiceRegistration'

phpstudy 中apache無法啟動啟動一下就關閉的解決方法

AndroidStudio中SDKManager無法啟動，一閃而過

linux 中Eclipse無法啟動

win10下xampp中apache無法啟動的問題

【解決辦法】Hadoop2.6.4 datanode 無法啟動，錯誤：All specified directories are failed to load.

windowsXP中apache無法啟動的解決方法

xampp中Apache無法啟動的解決方法

hadoop集群無法啟動namenode： ERROR namenode.NameNode: Failed to start namenode.

Hadoop datanode正常啟動，但是Live nodes中卻突然缺少節點

hadoop中datanode無法啟動

相關推薦