Hadoop啟動後:DataNode: IOException in offerService
2018-05-11 16:16:41,171 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService
java.io.EOFException: End of File Exception between local host is: "node228/192.168.255.128"; destination host is: "master":9000; : java.io.EOFException; For more details see: http://wiki.apache.org/hadoop/EOFException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:765)
at org.apache.hadoop.ipc.Client.call(Client.java:1480)
at org.apache.hadoop.ipc.Client.call(Client.java:1413)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
at com.sun.proxy.$Proxy15.sendHeartbeat(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolClientSideTranslatorPB.sendHeartbeat(DatanodeProtocolClientSideTranslatorPB.java:152)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.sendHeartBeat(BPServiceActor.java:402)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.offerService(BPServiceActor.java:500)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:659)
at java.lang.Thread.run(Thread.java:748)
Caused by: java.io.EOFException
at java.io.DataInputStream.readInt(DataInputStream.java:392)
at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:1085)
at org.apache.hadoop.ipc.Client$Connection.run(Client.java:980)
datanode日誌裡面還有個錯:
關於這個錯,我更是懵逼!!!ERROR org.apache.hadoop.hdfs.server.datanode.DirectoryScanner: dfs.datanode.directoryscan.throttle.limit.ms.per.sec set to value below 1 ms/sec. Assuming default value of 1000
Hadoop也用了一段時間了,哎!經常出問題,這個問題出現了好多次,我也試了網上一些改正方法,然而,沒有奏效。
最可氣的是,start-dfs.sh後,相關程序都在執行。。。。。
這我找誰說理去。。。
最後,我把日誌檔案,配置的路徑下的檔案dfs/name,dfs/data,還有那個臨時資料夾tmp都清空,然後把master的namenode、datanode,還有slave的datanode都格式化,突然發現,少了個錯。。。。
最後還剩一個沒解決:
ERROR org.apache.hadoop.hdfs.server.datanode.DirectoryScanner: dfs.datanode.directoryscan.throttle.limit.ms.per.sec set to value below 1 ms/sec. Assuming default value of 1000
哎!接著改。。。
相關推薦
Hadoop啟動後:DataNode: IOException in offerService
2018-05-11 16:16:41,171 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService java.io.EOFException: End of Fil
hadoop啟動中缺少datanode
hadoop安裝 csdn hadoop orm 8.4 bin lotus tps AR 原文鏈接地址:https://blog.csdn.net/islotus/article/details/78357857 本人測試有效: 首先刪除hadoop下的dfs文件(註:本
Hadoop啟動錯誤--沒有datanode or namenode
最近在自學hadoop,處於前期配置階段,遇到好一些問題,這個問題比較經典,記錄一下。 這有可能是因為我每次關閉伺服器的時候,沒有執行stop-all.sh 命令停止Hadoop。解決方法如下: (1)首先,執行stop-all.sh (2)檢查masters檔案和slaves檔案 配置有無出
【hadoop】hadoop啟動後jps無法檢視守護程序
按照各個教程配置完hadoop後,用如下指令啟動守護程序: $ sudo sbin/start-all.sh 用echo $?確認指令執行過程無誤,但jps指令就是看不到程序: $ jps 7542 Jps grep程序後確認守護程序實際上都已正常執行,偶然想起之前的配
hadoop啟動後jps查不到namenode的解決辦法 hadoop啟動後jps查不到namenode的解決辦法
hadoop啟動後jps查不到namenode的解決辦法 原文轉載至:https://www.cnblogs.com/lishpei/p/6136043.html 最近由於專案需要開始接觸hadoop,在配置偽分散式啟動後,jps查詢程序發現少了namenode,而Data
hadoop啟動後,9000埠無法連線,netstat -tpnl中找不到該埠
已解決: 需要重新格式化hdfs。 1、停止hdfs; 2、刪除hdfs的相關檔案目錄(hdfs-site.xml中配置的存放檔案的目錄)。 3、啟動journalnode:sbin/hadoop-daemon.sh start journalnode; 4、格式化namenode:hdfs nam
hadoop 啟動的時候datanode報錯 Problem connecting to server
剛配置好的hadoop,namenode可以正常開啟,但是datanode卻不停的報錯,並且不能正常啟動: 2014-05-04 10:43:33,970 WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Pr
tomcat啟動異常:Address already in use: JVM_Bind
悲催啊,水平太差了,一個小問題糾結了好久。。。。總結下解決過程吧,還是多虧了度娘和好多前人的帖子哎。。。。 2011-8-3 19:22:00 org.apache.catalina.core.AprLifecycleListener init 資訊: The APR ba
解決IDEA的tomcat啟動後:仍是舊專案或tomcat訪問不了,一種情況的解決
情形一:tomcat啟動後仍是舊專案,未載入新的專案情形二:tomcat訪問不了相關知識:原因:1、編譯目錄仍指向原專案war2、編譯輸出位置與部署位置不同3、配置出錯4、。。。。。。問題特徵(可能出現):1、可以檢視out或target目錄下,發現檔案部署的不全,並且可能還
hadoop啟動時,datanode節點失敗
nod dex exceptio hosts port 問題 java.net cep 添加 問題現象: Exiting with status 1: java.net.BindException: Port in use: localhost:0
bug:datanode啟動後立刻死掉:java.io.IOException: Incompatible clusterIDs in....
java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/hadoop-2.6.0/data/tmp/dfs/data: namenode clusterID = CID-c602bccc-3af9-431d-8391-f57b966
關於Hadoop啟動一段時間後DataNode消失:WARN org.apache.hadoop.metrics2.util.MBeans: Hadoop:service=DataNode,
啟動Hadoop一段時間後,其中一個機器上的DataNode消失,檢視日誌發現 2016-10-12 01:04:12,856 WARN org.apache.hadoop.metrics2.util.MBeans: Hadoop:service=Data
Hadoop叢集啟動後在網頁無法看到DataNode資訊
問題描述:node82作為namenode節點,node81,node80,node79作為datanode,jps顯示都是啟動的,可以登陸網頁卻看不到 datanode節點資訊。 網頁顯示:
hadoop多次格式化後出現datanode無法正常啟動的解決辦法
hadoop 多次執行命令: hadoop namenode -format後,發現再次啟動hadoop後,datanode節點無法正常啟動,出現錯誤程式碼如下: could only be replicated to 0 nodes, instead of 1,產生這樣的
【故障】Hadoop Cluster啟動後資料節點(DataNode)程序狀態丟失
Hadoop Cluster啟動後資料節點(DataNode)程序狀態丟失 在擁有三個節點的Hadoop叢集環境中,其各節點的配置為:CPU Intel(R) Core(TM) i3-3120M [email protected] 2.50GHz,記憶體RAM 6GB,Operation Sys
格式化hdfs後,hadoop集群啟動hdfs,namenode啟動成功,datanode未啟動
沒有 jps 數據文件 不一致 新的 hdf for ren size 集群格式化hdfs後,在主節點運行啟動hdfs後,發現namenode啟動了,而datanode沒有啟動,在其他節點上jps後沒有datanode進程!原因: 當我們使用hdfs namenod
hadoop叢集啟動後datanode和namenodemanager關閉問題解決
成功啟動hadoop集群后,在matser機器上執行jps命令,可以看到: Jps ResourceManager NameNode SecondaryNameNode 在slave節點上可以看到: DataNode Jps Node
重新格式化hadoop的namenode導致datanode無法啟動的最簡單解決辦法
導致 roo 報錯信息 不一致 atan 格式化 exceptio nco ava 一般namenode只格式化一次,重新格式化不僅會導致之前的數據都不可用,而且datanode也會無法啟動。在datanode日誌中會有類似如下的報錯信息: java.io.IOExcep
windows版redis報錯:本地計算機上的Redis服務啟動後停止
col target -c 計算 onf ont font -i 指定 解決 1、如果需要臨時啟動Redis 使用命令:redis-server.exe redis.windows.conf --maxheap 200m 說明:200
tomcat啟動後報錯Bad version number in .class file (unable to load class oracle.jdbc.OracleDriver)
.com 使用 重啟 jdbc file unable 錯誤 得到 ava 對於tomcat啟動後報錯: 錯誤原因:tomcat使用的jdk和eclipce的編譯用的jdk版本不同。 解決辦法: 1、首先確定tomcat的jdk版本: 2、點開tomcat查看jdk版本。