Hadoop運維問題記錄

阿新 • • 發佈：2019-01-23

昨天同事遇到一個hadoop故障，找了半天沒看出問題，問到我這裡，花了一會解決了一下，估計這是我給暴風的叢集解決的最後的故障了，以後就不定給誰解決問題去了。

只截下來了Namenode的報錯Log，Datanode的刷屏刷過去了，不過都差不多。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

2013-09-03
 18:11:44,021 WARN org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.blockReceived: blk_8094241928859719036_2147969 is received from dead or unregistered node 192.168.1.99:50010

2013-09-03
 18:11:44,022 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hdfs cause:java.io.IOException: Got blockReceived message from unregistered or dead node blk_8094241928859719036_2147969

2013-09-03
 18:11:44,022 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000, call blockReceived(DatanodeRegistration(192.168.1.99:50010, storageID=DS-1925877777-192.168.1.99-50010-1372745739682, infoPort=50075, ipcPort=50020), [Lorg.apache.hadoop.hdfs.protocol.Block;@4ec371c,
 [Ljava.lang.String;@301611ca) from 192.168.1.99:18853: error: java.io.IOException: Got blockReceived message from unregistered or dead node blk_8094241928859719036_2147969

java.io.IOException:
 Got blockReceived message from unregistered or dead node blk_8094241928859719036_2147969

at
 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.blockReceived(FSNamesystem.java:4188)

at
 org.apache.hadoop.hdfs.server.namenode.NameNode.blockReceived(NameNode.java:1069)

at
 sun.reflect.GeneratedMethodAccessor13.invoke(Unknown Source)

at
 sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)

at
 java.lang.reflect.Method.invoke(Unknown Source)

at
 org.apache.hadoop.ipc.RPC$Server.call(RPC.java:578)

at
 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1393)

at
 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1389)

at
 java.security.AccessController.doPrivileged(Native Method)

at
 javax.security.auth.Subject.doAs(Unknown Source)

at
 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)

at
 org.apache.hadoop.ipc.Server$Handler.run(Server.java:1387)

看上去是個IPC的錯誤，從下往上看，都是報許可權錯誤，然後無法註冊Datanode，還有從未註冊或死亡的Datanode上報了一個塊已被接收的錯誤。同事就暈了，已經死亡的node怎麼還上報啊。

然後重啟datanode時間不長，就又掛掉了。

登入到datanode，先看了一下dfs的資料資料夾的許可權，正確無誤。然後看了一下df -h，發現/var資料夾滿了，OPS很缺，只給分了20G的/var。結果Hadoop的log寫不進去了，自然就掛了。刪掉/var/log/hadoop/hdfs裡面的歷史日誌，datanode啟動正常。以後的解決辦法只有兩個，要麼設定定時指令碼每天刪歷史日誌，要麼就把/var/log/hadoop/hdfs資料夾軟鏈到一個比較大的硬碟上。

Hadoop運維記錄系列(二十二)

比較 p s lB 什麽 bar 而不是細心故障 duplex 今天抽空解決了一個Hadoop集群的一個非常有意思的故障，之所有有意思，是這個故障既可以稱之為故障，又不算是故障，說不算問題吧，作業跑的特慢，說算問題吧，作業不但都能跑出來，還沒有任何報錯，所以還比較難查。

Hadoop運維記錄系列(二十三)

class .com 數據報 write map 運行應用 inf 計算最近做集群機房遷移，在舊機房和新機房之間接了根專線，做集群不停機搬遷，也就是跨機房，同時要新加百多臺服務器，遇到幾個問題，記錄一下。舊集群的機器是centos 6, 新機房加的機器是centos 7

Hadoop運維問題記錄

昨天同事遇到一個hadoop故障，找了半天沒看出問題，問到我這裡，花了一會解決了一下，估計這是我給暴風的叢集解決的最後的故障了，以後就不定給誰解決問題去了。只截下來了Namenode的報錯Log，Datanode的刷屏刷過去了，不過都差不多。 1 2 3

華為USG6330運維記錄-端口回流、策略路由

usg6330運維記錄、端口回流、策略路由1、起初虛擬化平臺中使用USG6330上聯ISP線路，只接入了一根線路；下聯S5700三層交換機（三臺做的堆疊）。在三層交換機上啟了幾個VLAN作為業務網端，並配置vlan地址，放置業務服務器（並未放置在DMZ）；USG6330和S5700這間通過互通地址通訊，USG

hadoop運維必備命令

1、列出所有Hadoop Shell支援的命令 $ bin/hadoop fs -help 2、顯示關於某個命令的詳細資訊 $ bin/hadoop fs -help command-name 3、使用者可使用以下命令在指定路徑下檢視歷史日誌彙總 $ bin/hadoop job -history o

Hadoop運維筆記

架構 Hadoop叢集的啟動 zookeeper: /home/pubsrv/zookeeper-3.4.3-cdh4.0.0/bin/zkServer.sh start //1,2,3,4,5 jobhistoryserver:(自帶的一個歷史伺服器，可以通過歷史伺

elasticsearch 運維記錄

目錄 (elasticsearch 基礎知識彙總) 索引分片：從策略層面，控制分片分配的選擇磁碟限額為了保護節點資料安全，ES 會定時(cluster.info.update.interval，預設 30 秒)檢查一下各節點的資料目錄磁

Hadoop運維那些事

在實際的生產環境運維一個Hadoop叢集有一些必須要關注的事情。 1、Namenode的高可靠性 2、節點配置與管理 3、Mapreduce的記憶體配置 4、啟用trash 首要的是保證資料安全可靠，其次再去考慮儲存效率、計算效率、運維效率的優化與提高，當你覺得Hadoo

hadoop運維工程師必備命令

Hadoop 大資料平臺運維工程師須掌握的基本命令 1、列出所有Hadoop Shell支援的命令 $ bin/hadoop fs -help 2、顯示關於某個命令的詳細資訊 $ bin/hadoop fs -help command-name 3、使用者可使用

(hadoop運維三) hadoop叢集負載均衡

當hadoop叢集中增加節點、刪除節點或者某個節點磁碟佔用率比較高的情況下，節點之間的儲存就會不均衡，此時就需要對叢集進行重新的負載均衡，在做負載均衡之前，首先要調整dfs.balance.bandwidthPerSec引數，該引數表示叢集負載均衡的頻寬，我的CDH叢集中預

[Hadoop] hadoop運維篇(一)

首先建議datanode和tasktracker分開寫獨立的exclude檔案，因為一個節點即可以同時是datanode和tasktracker，也可以單獨是datanode或tasktracker。 1、刪除datanode 修改namenode上的hdfs-site.xml <prope

hive運維記錄20111117

1）執行hive cli客戶端時報錯： Mkdirs failed to create /tmp/hadoop-test/hadoop-unjar15513 錯誤原因：hive客戶端所在伺服器/tmp目錄已滿解決辦法：a）清空/tmp目錄；b）修改hive

Hadoop運維問題

① 問題描述：HBase只能啟動HRegionServer，HMaster啟動後瞬間又停止 ② 日誌 java.net.UnknownHostException: Invalid host nam

Hadoop運維配置

hdfs-default.xml hadoop.hdfs.configuration.version=1 // 配置檔案的版本 dfs.datanode.address=0.0.0.0:50010 // DN服務地址和埠，用於資料傳輸。0表示任意空閒埠。 dfs.datanode.http.addr

Cloudera Hadoop運維管理與效能調優

效能調優之於Hadoop來說無異於打通任督二脈，對於Hadoop的計算能力會有質的的提升，而運維之於Hadoop來說，就好像金鐘罩、鐵布衫一般，有了穩定的運維，Hadoop才能在海量資料之中大展拳腳，兩者相輔相成，缺一不可。總體來說，Hadoop運維維度取決於Had

CISCO運維記錄之3750告警"%PKI-4-TRUSTPOOL_EXPIRATION_WARNING"

span bubuko src -c war 交換 cisc log 技術 CISCO運維記錄之3750告警"%PKI-4-TRUSTPOOL_EXPIRATION_WARNING" 一臺交換機產生log日誌，型號為CISCO/WS-C3750X-24，版本15.0

網站運維記錄

suse 安裝 hup scrapy wrapper rest 後臺 sync nohup 1.nfs客戶端：安裝：yum install nfs-utils -y掛載mount -t nfs 10.10.21.103:/home/elasticsearch_data/ /

hadoop+kerberos常用運維命令

root hdfs util start pro local creat .sh password kerberos相關： kadmin.local　　//以超管身份進入kadmin kadmin　　　　//進入kadmin模式，需輸入密碼 kdb5_util cre

老男孩Linux運維第41期20170910開班第三周學習重點記錄

學習重點記錄一、補充一些find命令的方法：第13題把/oldboy目錄及其子目錄下所有以擴展名.sh結尾的文件中，文件包含oldboy的字符串全部替換為oldgirl解答：方法1：find + |xargs [[email protected] ~]# find /oldboy/ -type f

老男孩Linux運維第41期20170917開班第四周學習重點課堂記錄

linux運維學習重點課堂記錄第1章必知必會文件配置文件位置該文件作用/etc/sysconfig/network-scripts/ifcfg-eth0第一塊網卡的配置文件同setup中的network/etc/resolv.conf客戶端DNS配置文件，優先級低於網卡配置文件/etc/hosts主要

Hadoop運維問題記錄

相關推薦