2. 程式人生 > >start-dfs.sh啟動HDFS發現datanode沒有啟動

start-dfs.sh啟動HDFS發現datanode沒有啟動

阿新 • • 發佈：2019-01-13

我們做實驗時一般都會搭建一個單節點的叢集，有時啟動HDFS後發現一直處於Safemode is on，等待很長時間還是沒有off後沒有耐心就直接重新hdfs namenode -format了，重新啟動了發現HDFS的Security is off.Safemode is off.都正常了。

此時滿心歡喜可以動手做實驗，但是悲催的你會發現 hadoop fs -ls 啥的可以使用，但是hadoop fs -put就不好使了，會報錯。jps一看datanode沒有啟動起來。
What ？ Why？
檢視datanode日誌：

2017-12-07 08:34:28,967 WARN org.apache
 
.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode clusterID = CID-71807aeb-bae3-4461-acae-c8633b75cdcc; datanode clusterID = CID-6ab0c71b-f79c-4c73-b5aa-1b650d4f4f53
2017-12-07 08:34:28,968 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode
 
: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to hadoop001/192.168.187.111:8020. Exiting. 
java.io.IOException: All specified directories are failed to load.
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java
 
:478)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1394)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1355)
        at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:317)
        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:228)
        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:829)
        at java.lang.Thread.run(Thread.java:748)

從日誌中可以看出，原因是因為datanode的clusterID 和 namenode的clusterID 不匹配。

進入/tmp/hadoop-root/dfs/目錄，分別開啟name、data的current資料夾裡的VERSION，可以看到clusterID項正如日誌裡記錄的一樣，確實不一致，修改datanode裡VERSION檔案的clusterID 與namenode裡的一致，再重新啟動dfs（執行start-dfs.sh）再執行jps命令可以看到datanode已正常啟動。

出現該問題的原因：在第一次格式化dfs後，啟動並使用了hadoop，後來又重新執行了格式化命令（hdfs namenode -format)，這時namenode的clusterID會重新生成，而datanode的clusterID 保持不變。

相關推薦

start-dfs.sh啟動HDFS發現datanode沒有啟動

我們做實驗時一般都會搭建一個單節點的叢集，有時啟動HDFS後發現一直處於Safemode is on，等待很長時間還是沒有off後沒有耐心就直接重新hdfs namenode -format了，重新啟動了發現HDFS的Security is off.Safemo

Hadoop中啟動hdfs時DataNode沒有啟動

我是剛開始學習Hadoop，這個問題困擾了我一個多小時，為了以後少犯這種錯誤，也為了別人能少走歪路，我記錄下來我的解決方法，可能不是最快捷的，但是這是我摸索出來的。 hdfs啟動成功是這樣子的 但是，沒有啟動成功hdfs是這樣的 具體的解決方法： 1.   ./hdfs

啟動Hadoop時候datanode沒有啟動的原因及解決方案

data 重要 http tar img 保存 src com sta 有時候我們start-dfs.sh啟動了hadoop但是發現datanode進程不存在 一、原因 當我們使用hadoop namenode -format格式化namenode時，會在namenod

問題:sbin/start-dfs.sh 啟動不了zookeeper,zkfc和datenode

問題一:zookeeper服務啟動成功，但是就不顯示埠號，未執行，配置也正確，就是不知道什麼原因 執行zookeeperd後顯示啟動成功： JMX enabled by default Using config: /data/programfiles/zookeeper-3

在搭建Hadoop 分散式叢集的時候，多次格式化檔案系統，啟動hdfs,yarn，後jps 發現datanode為啟動

可以參考：https://www.cnblogs.com/dxwhut/p/5679501.html https://blog.csdn.net/baidu_15113429/article/details/53739734 https://www.cnblogs.com/lishpei/p

start-dfs.sh 和 start-all.sh的區別

nod 記得 包括 區別 的區別 source ger art all 　　start-dfs.sh 只啟動namenode 和datanode, start-all.sh還包括yarn的resourcemanager 和nodemanager 之前就所以因為只啟動了sta

hadoop單機啟動時datanode沒有啟動

1.具體錯誤描述 2018-11-27 23:45:34,356 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/usr/local/temp

start-dfs.sh出錯

ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defin

hadoop 叢集開啟之後datanode沒有啟動

datanode沒有啟動 將hadoop配置檔案修改後，重新格式化了hadoop叢集，即 hadoop name -format但是此時發現slave節點沒有啟動datanode 上網查詢解決方法，最

Hadoop中的datanode沒有啟動

這是異常 at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:812)at java.lang.Thread.run(Thread.java:724) 2017-0

格式化hdfs後，hadoop集群啟動hdfs，namenode啟動成功，datanode未啟動

沒有 jps 數據文件 不一致 新的 hdf for ren size 　　集群格式化hdfs後，在主節點運行啟動hdfs後，發現namenode啟動了，而datanode沒有啟動，在其他節點上jps後沒有datanode進程！原因： 　　當我們使用hdfs namenod

啟動namenode的時候沒有啟動secondarynamenode

這篇文章是在不同的機器上配置namenode和secondarynamenode出現的問題。 對於配置檔案的寫法，可以參考我的這一片文章：https://blog.csdn.net/qq_37076742/article/details/83104395 我出現的問題是在配置有namenod

hadoop平臺報錯：ATTEMPTING TO OPERATE ON HDFS NAMENODE AS ROOT（start-all.sh）啟動失敗解決方法

如果遇到 需要修改start-dfs.sh         stop-dfs.sh         start-yarn.sh  

linux下的hadoop配置 sbin/start-all.sh datanode守護程序啟動失敗----解決方案

在shell下輸入jps命令啟動的守護程序中發現缺少datanode 進入關於datanode的log檔案中檢視warm資訊 ls —表示的該目錄下所有檔案 選擇關於datanode的log檔案 檢視關於報錯資訊 2017-03-04 00:2

剛剛，微信啟動頁6年來首次“變臉”，你發現了沒有

發展 角度 頁面 未來 一次 啟動頁 中國 height alt 　　剛剛，微信啟動頁悄悄地把地球稍微轉了個角度，而且是動態的。以前，映入眼簾的是非洲大陸，而今天，正對著我們的，變成了華夏大地。今天，你所看到的啟動頁面高清東半球雲圖，是由我國新一代靜止軌道氣象衛星風雲四號拍

Atittit HDFS hadoop 大資料檔案系統java使用總結 目錄 1. 作業系統，進行操作 1 2. Hdfs 類似nfs ftp遠端分散式檔案服務 2 3. 啟動hdfs服務start

Atittit HDFS hadoop 大資料檔案系統java使用總結   目錄 1. 作業系統，進行操作 1 2. Hdfs 類似nfs ftp遠端分散式檔案服務 2 3. 啟動hdfs服務start-dfs.cmd 2 3.1. 配置core-site

Hadoop沒有啟動DataNode：There are 0 datanode(s) running and no node(s) are excluded in this operation

轉自：https://blog.csdn.net/qiruiduni/article/details/50280943 刪除hdfs上的部分檔案，格式化hadoop namenode -format後，存在版本殘留的問題。於是，停掉hadoop，刪除dfs.namenode.name.dir設定

MongoDB 執行 service mongod start 後服務沒有啟動成功

問題描述 檢視日誌（/var/log/mongodb/mongodb.log）有如下資訊 Wiredtiger error(13).....file:WiredTiger.wt,connection:/var/lib/mongodb/WiredTiger.turtle:handle-

使用start-hbase.sh 啟動服務 然後HMaster 和 HRegionServer 相繼掛掉

在Hbase 環境搭建後 使用start-hbase.sh 啟動服務  然後HMaster   和  HRegionServer  相繼掛掉！！ 檢視log日誌 報錯如下：  HMaster  log日誌報錯：

HDFS資料節點DataNode未啟動解決方法

在解決這個問題的過程中，我又是積累了不少經驗。。。 首先讓我搞了很久的問題是，書上說程序全部啟動的命令是/bin/start-all.sh，但是當我執行的時候顯示command not found。後來才知道這個命令到了sbin檔案中，應該是版本的原因。我裝的是hadoop2.9。 所以正確的啟動命令是：