2. 程式人生 > >hadoop啟動datanode總有一個失敗

hadoop啟動datanode總有一個失敗

阿新 • • 發佈：2019-01-18

今天啟動hadoop的時候總是有一個datanode無法啟動，錯誤資訊如下：

STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = localhost/127.0.0.1
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:   java = 1.8.0_40
************************************************************/
2015-04-16 08:02:06,124 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2015-04-16 08:02:06,134 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2015-04-16 08:02:06,135 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2015-04-16 08:02:06,135 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2015-04-16 08:02:06,180 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2015-04-16 08:02:06,406 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Registered FSDatasetStatusMBean
2015-04-16 08:02:06,427 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Opened data transfer server at 50010
2015-04-16 08:02:06,429 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Balancing bandwith is 1048576 bytes/s
2015-04-16 08:02:06,439 INFO org.apache.hadoop.util.NativeCodeLoader: Loaded the native-hadoop library
2015-04-16 08:02:06,526 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
2015-04-16 08:02:06,609 INFO org.apache.hadoop.http.HttpServer: Added global filtersafety (class=org.apache.hadoop.http.HttpServer$QuotingInputFilter)
2015-04-16 08:02:06,622 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: dfs.webhdfs.enabled = false
2015-04-16 08:02:06,622 INFO org.apache.hadoop.http.HttpServer: Port returned by webServer.getConnectors()[0].getLocalPort() before open() is -1. Opening the listener on 50075
2015-04-16 08:02:06,622 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50075 webServer.getConnectors()[0].getLocalPort() returned 50075
2015-04-16 08:02:06,622 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 50075
2015-04-16 08:02:06,623 INFO org.mortbay.log: jetty-6.1.26
2015-04-16 08:02:06,979 INFO org.mortbay.log: Started

[email protected]:50075
2015-04-16 08:02:06,985 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered.
2015-04-16 08:02:06,987 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source DataNode registered.
2015-04-16 08:02:07,183 INFO org.apache.hadoop.ipc.Server: Starting SocketReader
2015-04-16 08:02:07,184 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source RpcDetailedActivityForPort50020 registered.
2015-04-16 08:02:07,185 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source RpcActivityForPort50020 registered.
2015-04-16 08:02:07,187 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: dnRegistration = DatanodeRegistration(localhost:50010, storageID=DS-2081844110-192.168.96.130-50010-1428587722998, infoPort=50075, ipcPort=50020)
2015-04-16 08:02:07,196 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Finished generating blocks being written report for 1 volumes in 0 seconds
2015-04-16 08:02:07,202 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.protocol.UnregisteredDatanodeException: Data node 192.168.96.131:50010 is attempting to report storage ID DS-2081844110-192.168.96.130-50010-1428587722998. Node 192.168.96.130:50010 is expected to serve this storage.
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getDatanode(FSNamesystem.java:5049)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.processBlocksBeingWrittenReport(FSNamesystem.java:3869)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.blocksBeingWrittenReport(NameNode.java:1109)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:497)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)


        at org.apache.hadoop.ipc.Client.call(Client.java:1113)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
        at com.sun.proxy.$Proxy4.blocksBeingWrittenReport(Unknown Source)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.register(DataNode.java:828)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.runDatanodeDaemon(DataNode.java:1610)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1670)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1795)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1812)

最重要的是這句：2015-04-16 08:02:07,202 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.protocol.UnregisteredDatanodeException: Data node 192.168.96.131:50010 is attempting to report storage ID DS-2081844110-192.168.96.130-50010-1428587722998. Node 192.168.96.130:50010 is expected to serve this storage.

由次看出192.168.96.131試圖報告storage ID 但是這個storage ID已經在192.168.96.130上啟動了，所以是storage ID重複了，清空192.168.96.131的data資料夾，重新啟動hadoop解決問題

相關推薦

hadoop啟動datanode總有一個失敗

今天啟動hadoop的時候總是有一個datanode無法啟動，錯誤資訊如下： STARTUP_MSG: Starting DataNode STARTUP_MSG:   host = localhost/127.0.0.1 STARTUP_MSG:   args = []

Hadoop啟動datanode失敗，clusterId有問題

問題：   搭建偽Hadoop叢集的時候，執行命令： hdfs namenode -format 格式化或者說初始化namenode。 然後用命令： start-dfs.sh 來啟動hdfs時，jps發現datanode先是啟動了一下，然後就掛掉了，在http://

Hadoop啟動dataNode失敗，卻沒有任何報錯

not ado rto size 不一致 p s mmu 16px centos7 問題描述： centos7,偽分布模式下，啟動datanode後，通過JPS查看發現沒有相關進程，在日誌文件裏也沒有任何提示。通過百度，網上一堆說什麽vesion 的ID不一致，不能解決我

實用的 CSS 的高級技巧，總有一個你需要的！

right 列表 family 直接 免費 line 垂直 alias ie11 一、黑白圖像 當你需要讓一張彩色的圖片顯示為黑白照片的時候，你可以用下面的一段代碼。img.desaturate{ filter: grayscale(100%);

博客專欄上新，早鳥訂閱送書，新上兩個專欄，總有一個你的菜。

nosql數據庫 集群架構 主從復制、 主從 mongodb 互聯 運維 一個 ron 專欄一：十年老兵教你練一套正宗的MySQL降龍十八掌 簡介：本專欄匯集了作者在MySQL運維及教學領域從業十年經驗，針對初學者量身定做，註重實例的操作與分析。由淺入深地剖析MySQL的體

身體和靈魂，總有一個要在路上

在這個浮華的社會，滿是高樓大廈，鋼筋混泥土，人們都像是被困在了這個大鐵籠子裡，這裡並不都是枯燥無味，這裡也絢爛多彩，彷彿處處都充滿了誘惑，有人也掙扎過，想要逃離，可是卻沒有這樣的勇氣，因為有太多的羈絆，彷彿現在的人們已經被困死在這牢籠裡無處可逃。但是有這樣一撥人，他們雖被困在這牢籠裡，但是他

人人網被賣，這些回憶殺總有一個能讓你流淚

2000W 美金，人人網就這麼被賣了。 聽到這則訊息後，很多人都忍不住一陣唏噓。 也有人登上了自己幾年沒有上過的人人，塵封的記憶就在不經意間被開啟。 他們曾是靦腆的少年，卻在人人上勇敢向校花表白； 他們曾是矯情的少女，屁大點事都在要人人上吐槽； 他們曾是叛逆的非主流，在人人網上發

24種吸引人的營銷文章標題寫法,總有一個適合你！

在如今資訊爆炸的網際網路+時代下，如何提高提高文章的閱讀(新聞稿、軟文宣傳稿、微信公眾號)，成為從業者們共同研究的課題?首先你得有一個足夠吸引的標題，尤其是定向推送的時候，這將是由一個質變帶來量變的過程

Linux的賭注：總有一個發行版適合你

作者簡介：Steven J. Vaughan-Nichols,自1993年（Linux問世兩年之後）開始使用Linux，嘗試過數十個不同的發行版，運營網站Desktop Linux。現在用三個不同的Linux發行版做日常工作。 Linux已經有上百個不同的

分享四種將PDF檔案轉換為CAD檔案的方法，總有一個方法適合你

有時候我們會遇到一些設計圖是以PDF檔案形式顯示的，那我們要怎麼樣將這種型別的PDF圖紙轉換成dwg或dxf格式呢？ 如今網上的轉換方法特別多，今天小編就給大家盤點一下將PDF檔案轉換成CAD圖紙的4種方法。 迅捷家的幾款辦公軟體就很不錯，無論是CAD編輯器還是轉換器，

eclipse中的git提交程式碼總有一個向上箭頭 有一個程式碼檔案提交不上（大坑）

問題背景：Eclipse中的git提交程式碼，不管怎麼fetch、merge、commit、push都不管用，總有一個或多個檔案提交不上。 分析：肯定有本地修改或新增檔案沒有提交！問題是怎麼都提交不了

hadoop啟動時，datanode節點失敗

nod dex exceptio hosts port 問題 java.net cep 添加 問題現象： Exiting with status 1: java.net.BindException: Port in use: localhost:0 　　

hadoop啟動中缺少datanode

hadoop安裝 csdn hadoop orm 8.4 bin lotus tps AR 原文鏈接地址：https://blog.csdn.net/islotus/article/details/78357857 本人測試有效： 首先刪除hadoop下的dfs文件（註：本

啟動Hadoop時候datanode沒有啟動的原因及解決方案

data 重要 http tar img 保存 src com sta 有時候我們start-dfs.sh啟動了hadoop但是發現datanode進程不存在 一、原因 當我們使用hadoop namenode -format格式化namenode時，會在namenod

解決：一個服務器oracle多實例有一個實例沒啟動，需手動啟動操作指引教程

數據庫實例 操作 root sql art 啟動 切換 正常 服務 操作背景： Centos6.5 一個服務器內 部署了兩個數據庫實例 orcl1 和 orcl2現遇到問題，orcl1運行正常，orcl2鏈接不上（實例未啟動）現需要在不影響orcl1的運行的前提，啟動orc

Hadoop啟動錯誤--沒有datanode or namenode

最近在自學hadoop,處於前期配置階段，遇到好一些問題，這個問題比較經典，記錄一下。 這有可能是因為我每次關閉伺服器的時候，沒有執行stop-all.sh 命令停止Hadoop。解決方法如下： （1）首先，執行stop-all.sh （2）檢查masters檔案和slaves檔案 配置有無出

Hadoop沒有啟動DataNode：There are 0 datanode(s) running and no node(s) are excluded in this operation

轉自：https://blog.csdn.net/qiruiduni/article/details/50280943 刪除hdfs上的部分檔案，格式化hadoop namenode -format後，存在版本殘留的問題。於是，停掉hadoop，刪除dfs.namenode.name.dir設定

尋找Hadoop啟動Namenode失敗原因

問題產生     hadoop目錄下，執行下面語句啟動namenode，jps發現namenode啟動失敗 sbin/hadoop.daemon.sh start namenode 問題解決        （1）Hadoop namenode、datanode、se

例8.14 有一個班，3個學生，各學4門課，計算總平均分數以及第n個學生的成績。

解題思路：這個題目是很簡單的。本例用指向陣列的指標作函式引數。用函式average求總平均成績，用函式search找出並輸出第i個學生的成績。 #include <stdio.h> int main() {void average(float *p,int n

Hadoop 啟動resource manager 失敗的解決辦法

節點resource manager 無法啟動 在/var/log/hadoop-yarn/yarn/yarn-yarn-resourcemanager-bbb.log 發現了這樣的錯誤 2016-11-14 16:30:43,101 FATAL resourcemanag