一個namenode能正常啟動,狀態為active,另一個namenode無法啟動
簡介:我在搭建hadoop2.5.1的HDFS(HA With QJM)時遇到了上述問題。在此先強調一點:我之前做過HA,現在要重做。
問題:格式化namenode(起個別名,就叫甲吧)後,用hdfs namenode -bootstrapStandby的方式把格式化產生的元資料copy到另外一個namenode(乙)上。用start-dfs.sh的方式啟動hdfs後,發現甲正常啟動,乙始終沒用啟動。難道是配置檔案中的配置有問題?於是按照hadoop官網、技術員的部落格多次進行配置,還是無法啟動乙。嗯!現在可以肯定上述猜想不對!咋辦吶?看看日誌吧!看能不能查出原因?開啟日誌後,發現有報錯:“
2016-04-28 18:20:22,791 WARN org.apache.hadoop.hdfs.server.common.Storage: Storage directory /opt/hadoop/dfs/name does not exist 2016-04-28 18:20:22,792 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: <span style="color:#ff0000;">Directory /opt/hadoop/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible</span>. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:311) at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:202) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:955) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:700) at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:529) at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:585) at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:751) at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:735) at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1407) at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1473) 2016-04-28 18:20:22,798 INFO org.mortbay.log: Stopped
[email protected]:50070 2016-04-28 18:20:22,798 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NameNode metrics system... 2016-04-28 18:20:22,799 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped. 2016-04-28 18:20:22,799 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete. 2016-04-28 18:20:22,799 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /opt/hadoop/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:311) at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:202) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:955) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:700) at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:529) at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:585) at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:751) at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:735) at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1407) at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1473) .....
介尼瑪什麼情況?會不會是元資料沒有copy到乙上來?於是進入/opt/hadoop/dfs/name/current/下檢視,果然沒有元資料!找到原因了,解決問題吧!
出現原因:甲上的元資料沒有copy到乙上來。
解決辦法:把剛才格式化後的甲上的元資料(我的在/opt/hadoop/dfs/name/current/下),如下圖所示:
手動copy到乙對應的資料夾下,即可解決上述問題。
ps:在搭建hadoop的叢集時會遇到各種問題,要想快速找出導致問題產生的原因,首選看日誌!!
相關推薦
一個namenode能正常啟動,狀態為active,另一個namenode無法啟動
簡介:我在搭建hadoop2.5.1的HDFS(HA With QJM)時遇到了上述問題。在此先強調一點:我之前做過HA,現在要重做。 問題:格式化namenode(起個別名,就叫甲吧)後,用hdfs namenode -bootstrapStandby的方
/var/run/yum.pid 已被鎖定,PID 為 XXXXX 的另一個程式正在執行。
刪除jdk時終端提示 /var/run/yum.pid已被鎖定,PID 為 XXXXX 的另一個程式正在執行 解決方法: 直接在終端執行 rm -f/var/run/yum.pid 將該檔案刪除,然
關於程式碼進行排序查詢,模糊查詢,結果為空,不能正常展示排序問題總結
使用springboot進行商品模糊查詢和選擇排序查詢,遇到了一下問題。 1.查詢出來結果為空: 我是最先使用的是在業務層拼接好模糊查詢的語句 也就是“ '%nam%' ” 我把這個這個整體當做引數
產生一個int陣列,長度為100,並向其中隨機插入1-100,並且不能重複
//以下是本人寫的,如有不同關點請聯絡偶 int[] array = new int[100];Random r = new Random();ArrayList myList = new ArrayList(); while (myList.Count < 100){
做技術的幾年,最後為自己找了一個信仰
tsx 幫助 閱讀 佛教 一位 信仰 力量 采訪 突如其來 利用業余時間開發了一個佛教網站。摘錄了一些美文。空余時間可以閱讀閱讀吧。 菩提樹下 點擊進入http://www.ftsx.net/ 下面是我摘錄的 同情不是用來秀,用來販賣的 不幸和苦難,也是一個人的隱私,擅自
python練習題,寫一個方法 傳進去列表和預期的value 求出所有變量得取值可能性(例如list為[1,2,3,4,5,6,12,19],value為20,結果是19+1==20只有一種可能性),要求時間復雜度為O(n)
num bubuko com pri def 代碼 data- 取值 .com 題目:(來自光榮之路老師)a+b==valuea+b+c=valuea+b+c+d==valuea+b+c+d+...=valuea和b....取值範圍都在0-value寫一個方法 傳進去列
nginx代理 前端埠不能正常訪問(504 Gateway Time-out) 一個可能的原因
在使用angular架構時,遇到了前端埠不能正常訪問,(504 Gateway Time-out)的問題,搜了很多方法都不對,最後才發現原來是自己曾執行nginx但沒有主動關閉。 開啟工作管理員看一下,正常情況下nginx的程序只有5個,如果多次開啟nginx,並且沒有正常stop它(ng
SQL Server 2008獲取一個表的欄位,型別,長度,是否主鍵,是否為空,註釋等資訊
SELECT [表名]= case when a.colorder=1 then d. name else '' end , [表說明]= case when
關於專案部署到伺服器上,介面資料正常,狀態碼500,可能是session報錯問題
剛開始一直報500錯誤,頁面不提示,也沒想著去檢視日誌檔案。好幾天了,一看日誌,發現是這個問題。問了一下,是session的問題、 2017/07/25 16:57:49 [error] 2300#0: *1 FastCGI sent in stderr: "PHP message: PHP Fatal e
求二叉樹的深度,前序遍歷,中序遍歷,後序遍歷,節點個數,是否為空,查詢某一個節點,測試方式
package com.bjsxt.tree; import java.util.ArrayList; import java.util.Deque; import java.util.LinkedList; import java.util.Queue; /** * * @autho
強哥告訴你 - 傳統IT人,你為什麽需要一個雲計算的證書
備份 it人 入行 軟件 宇宙 子公司 實現 外部存儲 blog 10年前,強哥沒有想到一個無意的選擇能夠給自己的職業生涯甚至生活帶來如此深遠的影響。 一 2005年,當強哥還在華南一家集成商工作時,那時候公司的大佬都是Unix專家,對x86不屑一提。 記得當時負責x86這
從撲克牌中隨機抽5張排,判斷是不是一個順子,即這5張牌是不是連續的。2~10為數字本身,A為 1,J為11,Q為12,K為13,而大,小王可以看成任意數字。
#define _CRT_SECURE_NO_WARNINGS #include<stdio.h> #include<math.h.> #include<assert.h> #define n 5 int main() {
c語言 購房從銀行貸了一筆款d,準備每月還款額為p,月利率為r,計算多少月能還清
購房從銀行貸了一筆款d,準備每月還款額為p,月利率為r,計算多少月能還清。d=300000,p=6
給定一系列x軸的點座標,例如 1,3,7,8,9,11這些座標升序放在陣列中,現在給一根繩子,長度為4,問繩子最多能覆蓋的點數有多少,例如繩子放前面只能覆蓋兩個點,1,3,如果放後面能覆蓋4個點。
/** * @param $data 待查詢陣列 * @param $rLen 繩子長度 */ function getRopeNum($data,$rLen) { $n = count($data); //當前最大個數 $max
解決VS 2017 TFS獲取部分程式碼為空,狀態為黃色感嘆號
問題描述: 如下圖:伺服器獲取最新之後不知是什麼原因導致部分程式碼下載不下來,此時雙擊開啟會提示檔案不存在,當然,在檔案路勁下確實是沒有當前檔案存在,我試過改專案路徑以及刪掉後重新獲取但終究無果,在嘗試幾次失敗後找到了解決方法。 解答: 在空檔案上面右
《Java》Java實現一個“以鹿鼎記文字內容為角度,分析主、配角親密程度”的應用程式——原著的文字檔案做資料來源
【韋小寶和他的七個老婆】 韋小寶這個人是金庸筆下的唯一一個不會武功卻又如魚得水角色,身邊有七個老婆相伴,他更是許多金庸迷羨慕的人:權勢、地位甚至紅顏知己。那麼問題來了,七人中哪個是韋小寶最愛的,哪個又是最愛他的人呢?下面博主就從計算機的角度來為大家分析一
echarts判斷點擊參數類型,series為有效,markPoint 無效
ima echarts char chart sch charts w3cschool tutorial 設置 https://www.w3cschool.cn/echarts_tutorial/echarts_tutorial-7o3u28yh.html 可以設置如
Openstack 虛擬機修改error狀態為active
nova error 狀態修復 OpenStack虛擬機由於一些特殊原因導致進入error狀態,比如宿主機宕機,docker容器故障等等, 此時我們無法在界面上對虛擬機進行其他操作了,只能刪除重建,但是如果是已經在用的虛擬機,那就要想辦法恢復,有一些人是直接通過後臺數據庫直接修改數據,這種方式總覺得不安
批量創建10個系統帳號oldboy01-oldboy10並設置密碼,密碼為隨機數,要求字符和數字等混
shell#!/bin/sh function getpassword{ ##產生隨機密碼if [ -n "$1" ]then length=$1elselength=8 fi chars=‘abcdefghijkmnpqrstuvwxyzABCDEFGHJKMNPQRSTUVWXYZ23
多線程中,ResultSet為空,報錯空指針
resultset JD 沖突 查詢語句 查詢 多個 通過 res 好的 最近在數據庫查詢數據時,由於數據量太大,使用了多線程,通過線程池建了好幾個線程,然後調用了一個封裝好的jdbc查詢語句。 結果在多線程中,ResultSet報錯空指針。 仔細查閱後,才發現多個線程訪問