2. 程式人生 > >安裝hadoop2.x出現的問題

安裝hadoop2.x出現的問題

阿新 • • 發佈：2019-01-16
  • 安裝完hadoop,格式化之後啟動hdfs,datanode不能啟動
    檢視日誌：
    2017-02-07 14:29:47,741 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
    2017-02-07 14:29:47,758 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 50020: starting
    2017-02-07 14:29:53,973 INFO org.apache.hadoop.hdfs.server.common.Storage: Using 1 threads to upgrade data directories (dfs.datanode.paralle
    l.volumes.load.threads.num=1, dataDirs=1)
    2017-02-07 14:29:54,113 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /opt/data/tmp/dfs/data/in_use.lock acquired by nodename 5
    [email protected]
    2017-02-07 14:29:54,203 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/data/tmp/dfs/data
    /
    java.io.IOException: Incompatible clusterIDs in /opt/data/tmp/dfs/data: namenode clusterID = CID-2ca58eab-b3ef-4f08-b3f9-6246c4d6d0be; datan
    ode clusterID = CID-2121b6fc-ca1c-4f87-a700-1f7314390f13
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:775)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadStorageDirectory(DataStorage.java:300)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadDataStorage(DataStorage.java:416)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:395)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:573)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1362)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1327)
    at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:317)
    at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:223)
    at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:802)
    at java.lang.Thread.run(Thread.java:745)
    2017-02-07 14:29:54,298 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode
    Uuid unassigned) service to hadoop-master/192.168.8.88:9000. Exiting.
    java.io.IOException: All specified directories are failed to load.
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:574)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1362)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1327)
    at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:317)
    at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:223)
    at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:802)
    at java.lang.Thread.run(Thread.java:745)
    2017-02-07 14:29:54,298 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool (Datan
    ode Uuid unassigned) service to hadoop-master/192.168.8.88:9000
    2017-02-07 14:29:54,324 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool (Datanode Uuid unassigned)
    2017-02-07 14:29:56,324 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
    2017-02-07 14:29:56,342 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0
    2017-02-07 14:29:56,377 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
    造成這個原因的是在安裝完hadoop後格式化啟動hdfs後，又格式化了一遍hdfs,知識後namenode的clusterID和datanode的clusterID不一致，所以造成不能正常的啟動datanode.
    解決方法：在配置的hadoop執行的臨時檔案目錄中找到datanode的clusterID目錄
    /opt/data/tmp/dfs/data/current/VERSION clusterID和/opt/data/tmp/dfs/name/current/VERSION中的clusterID一致就可以了，把namenode中的clusterID拷貝到datanode中的clusterID。

    • 相關推薦

    安裝hadoop2.x出現的問題

    安裝完hadoop,格式化之後啟動hdfs,datanode不能啟動 檢視日誌： 2017-02-07 14:29:47,741 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting 2017-02-07 14:29:47,7

    VMware安裝Ubuntu時出現Intel VT-X處於禁用狀態的情況的處理辦法

    fig 筆記本 開啟 ubunt vt-x alt 可用 cal exit VMware安裝Ubuntu時出現Intel VT-X處於禁用狀態的情況的處理辦法 VMware安裝Ubuntu的出現Intel VT-X處於禁用狀態的情況會使已經安裝好的Ubuntu虛擬機

    hadoop 2.7.7 安裝（測試環境部署） hadoop2.x部署

    hadoop 2.7.7 安裝（測試環境部署） hadoop2.x部署 系統環境（censtos 6.5 ）： 172.16.57.97 namenodeyw 172.16.57.98 datanodeyw1 172.16.57.238 datanodeyw2

    pip 安裝matplotlib2.x版本以及pip出現的兩個錯誤

    01安裝matplotlib 　今天給python2安裝matplotlib，發現最新的matplotlib版本3.0不再支援python2了，所以需要指定版本號安裝，但是我又不想去查 matplotlib2.x最新版本是多少，於是就使用上pip的指定版本的功能了 sudo pip

    【Hadoop2.x】CentOS中jdk的安裝，hadoop2.7.3環境配置

    前提 VMware虛擬機器中已正確安裝CentOS系統，安裝過程可見CentOS 6 安裝 下載好jdk-8u151-linux-x64.tar.gz，以及hadoop-2.7.3.tar.gz 遠端

    Thinkpad 筆記本VMware Workstation 安裝虛擬機器出現“此主機支援 Intel VT-x，但 Intel VT-x 處於禁用狀態”解決方法

    今天在使用VMware打算在機器中安裝新的虛擬機器時，出現“此主機支援 Intel VT-x，但 Intel VT-x 處於禁用狀態”錯誤如下： 提示資訊： 已將該虛擬機器配置為使用 64 位客戶機作業系統。但是，無法執行 64 位操作。 此主機支援

    hadoop2.x安裝檔案配置

    目錄 配置hadoop-env.sh 配置yarn-env.sh 配置core-site.xml 配置hdfs-site.xml 配置mapred-site.xml 配置yarn-site.xml 配置slaves檔案 配置hadoop-env.

    hadoop2.x安裝（準備工具）

    每次換電腦的時候都要把hadoop的環境重新的搭建一遍，每次配置的時間不是很長，但是準備的時間浪費很多，都是一些常用的工具軟體還有對應的外掛，映象什麼的。所以這次在部落格上總結一下。算是一種複習，也算是為剛接觸hadoop的同學一個方便的思路。下面我將分為幾部分

    hadoop2.x叢集安裝

    Hadoop2.X叢集安裝配置 Hadoop2.x叢集安裝分為五步： -修改主機名及配置靜態IP -新增Hadoop使用者組及使用者，並賦予root許可權 -安裝jdk -配置SSH免密匙登陸 -安裝Hadoop 修改主機名及配置靜態IP 本文以四臺伺服器組成的叢集為例，其

    【安裝Python環境】之“安裝 setuptools ”時出現的問題以及解決辦法

    ace python環境 str ots tar oot bsp users 默認 安裝Python環境時，還需要安裝“setuptools 與 pip”，但是安裝setuptools時出現了幾個問題，如下： setuptools 與 pip 下載地址如下：https://

    VMware下Ubuntu16.04的安裝、可能出現的問題的解決辦法及基本配置

    ech 應用程序 內存 測試 如果 地址 高級 鏡像 ddr 安裝VMware 1.下載VMware Workstation Pro 12.1.0 for Windows，安裝。 2.VMware永久證書秘鑰：5A02H-AU243-TZJ49-GTC7K-3C61N 添加

    解決Webpack 安裝sass時出現的錯誤

    還需要 項目 功能 需要 ror 技術分享 under 定義 加載 webpack環境下，加載css需要 css-loader 和 style-loader。 　　css-loader：[email protected]/* */(...)的方法實現 requi

    windows安裝xampp時出現，unable to realloc xxxxxxxx bytes

    操作 white ble 微軟 io性能 mic clas 微軟雅黑 ica 摘錄自：http://blog.csdn.net/lz610756247/article/details/70842166 　　　　　　　　　　　　　　Windows虛擬內存的設置 問題描述：由於

    Hadoop2.x偽分布式環境搭建(一)

    ava 內容 replicat 檢查 user form 基本 臨時 sla 1、安裝hadoop環境，以hadoop-2.5.0版本為例，搭建偽分布式環境，所需要工具包提供網盤下載：http://pan.baidu.com/s/1o8HR0Qu 2、上傳所需要的工具包到

    nodejs 安裝失敗 ，出現error 2502 和error2503

    .cn 進行 失敗 命令 解決 alt cmd 安裝失敗 mage 出現error 2502 和error2503是因為win8的權限問題所導致的，具體說就是要以管理員身份進行安裝就可以解決，下面詳細來說一下。 1.cmd命令行點擊以管理員身份運行。 2.這時候就可以打開管

    Linux下安裝Python3.x和第三方庫

    方便 tls libpcap 輸入 zlib cert ase $path pip安裝 如果本機安裝了python2，盡量不要管他，使用python3運行python腳本就好，因為可能有程序依賴目前的python2環境， 比如yum！！！！！ 不要動現有的python2環境

    MySQL安裝過程中出現“APPLY security settings錯誤”的解決方式

    錯誤 data- service gin sql p s 過程 mysql安裝 一次 ***********************************************聲明***************************************

    解決安裝mysql時出現的三種問題

    .com 新的 徹底 win span 9.png 權限 file -1 MySQL v5.0.96 for windows 安裝版 鏈接：http://pan.baidu.com/s/1slmE2k9 密碼：tadp MySQLAdministratort

    【ProtoBuffer】windows上安裝ProtoBuffer3.x (附已編譯資源)

    文章 sta baidu linux平臺 hub 結構 mage 關心 平臺 　　百度了很久，所介紹的方法很多都不適用，搜出來的文章都是找到vs的工程文件然後balabala...，但因為gihub上的最新版本protobuf3.3.0，是不帶vs的工程文件了，官方的rea

    安裝第三方庫出現 Python version 2.7 required, which was not found in the registry

    prefix another odin light admin urn utf n! .py 安裝第三方庫出現 Python version 2.7 required, which was not found in the registry 建立一個文件 register.