1. 程式人生 > >Hadoop-HA叢集啟動後兩個namenode都是standby問題。

Hadoop-HA叢集啟動後兩個namenode都是standby問題。

日誌:

WARN org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer: U
nable to trigger a roll of the active NN
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operatio
n category JOURNAL is not supported in state standby

    at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(Standb
yState.java:87)
    at org.apache.hadoop.hdfs.server.namenode.NameNode$NameNodeHAContext.checkOpera
tion(NameNode.java:1722)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkOperation(FSNamesys
tem.java:1352)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.rollEditLog(FSNamesystem
.java:6369)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.rollEditLog(NameNod
eRpcServer.java:989)
    at org.apache.hadoop.hdfs.protocolPB.NamenodeProtocolServerSideTranslatorPB.rol
lEditLog(NamenodeProtocolServerSideTranslatorPB.java:142)
    at org.apache.hadoop.hdfs.protocol.proto.NamenodeProtocolProtos$NamenodeProtoco
lService$2.callBlockingMethod(NamenodeProtocolProtos.java:12025)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(Proto
bufRpcEngine.java:619)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:975)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2040)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2036)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.ja
va:1656)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2034)

    at org.apache.hadoop.ipc.Client.call(Client.java:1469)
    at org.apache.hadoop.ipc.Client.call(Client.java:1400)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.jav
a:232)
    at com.sun.proxy.$Proxy15.rollEditLog(Unknown Source)
    at org.apache.hadoop.hdfs.protocolPB.NamenodeProtocolTranslatorPB.rollEditLog(N
amenodeProtocolTranslatorPB.java:148)
    at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer.triggerActiveLogRoll
(EditLogTailer.java:271)
    at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer.access$600(EditLogTa
iler.java:61)
    at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread.
doWork(EditLogTailer.java:313)
    at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread.
access$200(EditLogTailer.java:282)
    at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread$
1.run(EditLogTailer.java:299)
    at org.apache.hadoop.security.SecurityUtil.doAsLoginUserOrFatal(SecurityUtil.ja
va:412)

    at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread

我先啟動zookeeper各個節點,leader和follower

Hadoop和zookeeper格式化均沒有問題,但是還是無法自動選舉

相關推薦

Hadoop-HA叢集啟動namenodestandby問題

日誌:WARN org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer: Unable to trigger a roll of the active NNorg.apache.hadoop.ipc.RemoteExce

Hadoop ha CDH5.15.1-hadoop叢集啟動namenodestandby模式

         Hadoop ha CDH5.15.1-hadoop叢集啟動後,兩個namenode都是standby模式                                              作者:尹正傑 版權宣告:原創作品,謝絕轉載!否則將追究法律責任。   &nb

全網最詳細的Hadoop HA集群啟動namenodestandby的解決辦法(圖文詳解)

config bubuko 測試 IE oop per ali col 學到老   不多說,直接上幹貨! 解決辦法   因為,如下,我的Hadoop HA集群。

全網最詳細的Hadoop HA集群啟動namenode是active的解決辦法(圖文詳解)

oop 精神 問題 python shell enter 深度 In 智能 不多說,直接上幹貨!     這個問題,跟     是大同小異。    歡迎大家,加入我的微信公眾號:大數據躺過的坑

hadoop+Zookeeper+HBase安裝(namenode+hbase)

1、hadoop+Zookeeper的安裝請看:https://blog.csdn.net/sunxiaoju/article/details/85642409 2、在https://hbase.apache.org/downloads.html下載hbase,我們選擇2.1.1版本的bin

hadoop叢集啟動,發現所有程序在,唯獨沒有master節點的namenode程序

這個時候,去logs/目錄下檢視日誌 cat hadoop-had_user-namenode-master.log 得到結果: java.io.IOException: There appears to be a gap in the edit log.  We expect

Hadoop叢集啟動在網頁無法看到DataNode資訊

問題描述:node82作為namenode節點,node81,node80,node79作為datanode,jps顯示都是啟動的,可以登陸網頁卻看不到                 datanode節點資訊。                網頁顯示:          

Hadoop 叢集啟動,從節點的NodeManager沒有啟動解決

1.slaves節點報錯,報的是啟動nodemanager 所需記憶體不足 解決: a: 修改 yarn-site.xml 中的yarn.scheduler.minimum-allocation-mb 記憶體大於1024, b.修改 ya

hadoop叢集啟動datanode和namenodemanager關閉問題解決

成功啟動hadoop集群后,在matser機器上執行jps命令,可以看到: Jps ResourceManager NameNode SecondaryNameNode 在slave節點上可以看到: DataNode Jps Node

Hadoop用戶啟動hdf幾進程

per default docs mon 查找 是我 默認 project root 詳細的修改步驟: 啟動的三個進程:namenode: hadoop-01 bin/hdfs getconf -namenodesdatanode: localhost data

Oracle 以當前時間為準,取前三小時小時的分鐘列舉

/*以當前時間為準,取前三個小時後兩個小時的分鐘列舉*/ with x as( select 開始時間+level * 1/24/60 as 分鐘 from (select sysdate+2/24 as 結束時間,sysdate-3/24 as 開始時間 fro

使用3臺虛擬機器搭建Hadoop HA叢集(1)

系列部落格目錄連結:Hadoop權威指南學習筆記:總章 基礎環境搭建:使用3臺虛擬機器搭建Hadoop HA叢集(1) HA環境搭建:使用3臺虛擬機器搭建Hadoop HA叢集(2) 工欲善其事,必先利其器,要學好大資料,就必須首先學會自己動手

使用3臺虛擬機器搭建Hadoop HA叢集(2)

系列部落格目錄連結:Hadoop權威指南學習筆記:總章 基礎環境搭建:使用3臺虛擬機器搭建Hadoop HA叢集(1) HA環境搭建:使用3臺虛擬機器搭建Hadoop HA叢集(2) 本部分包含以下基本分內容 安裝部署zookeeper

k8s叢集啟動了上萬容器(一個pod裡放上百容器,起百pod就模擬出上萬容器)伺服器超時,無法操作的解決辦法

問題說明: 一個POD裡放了百個容器,然後讓K8S叢集部署上百個POD,得到可執行上萬個容器的實驗目的。 實驗環境:3臺DELL裸機伺服器,16核+64G,硬碟容量忽略吧,上T了,肯定夠。 1.一開始執行5000多個容器的時候(也就50個POD),叢集部署後,10幾分鐘就起來了,感覺還不錯。 2.增加壓力,把

Hadoop HA叢集配置

目錄 叢集規劃 安裝步驟 2.1解壓 ​ ha5 ​ ha6 ​ ha7 ​ 一、 基礎配置 建立7臺機器

spark叢集啟動,子機器上有worker程序,但在master機器上開啟webui,worker卻只有master是為什麼?

個人在學習時,電腦突然更新了,導致虛擬機器關閉,偽叢集掛起。重新開啟時,發現spark叢集啟動後,worker程序啟動,但並沒有在master上註冊。百度了下,發現防火牆打開了。。。 關閉防火牆後master和worker之間能正常通訊了。 $ service ipt

基於zookeeper的高可用Hadoop HA叢集安裝

1.Hadoop叢集方式介紹     1.1 hadoop1.x和hadoop2.x都支援的namenode+secondarynamenode方式          優點:搭建環境簡單,適合開發者模式下除錯程式          缺點:namenode作為很重

虛擬機器CentOS 7.5.1804下無外網Hadoop HA叢集安裝

網上有很多Hadoop HA叢集安裝的資料,我當時安裝也是參考了官方文件和這些資料才安裝成功的。由於使用的環境和軟體版本可能有所不同,且因工作環境網路所限無法連線外網,加之記錄一下自己的安裝過程,不枉花費時間來研究Hadoop環境的搭建,故作此文章。 一、叢集架構表

**題目描述:長度不超過80的字串,串中包括大寫、小寫和空格字元,去掉空格字元並忽略大小寫判斷字串是否相等

題目描述:兩個長度不超過80的字串,串中包括大寫、小寫和空格字元,去掉空格字元並忽略大小寫後判斷兩個字串是否相等。 輸入描述:第一行輸入的是測試資料的組數n,每組測試資料佔兩行,第一行是第一個字串S1,第二行是第二個字串S2。 輸出描述:如果兩個字串相等,則輸出YES,否則輸出NO。