2. 程式人生 > >使用Zookeeper 部署HDFS HA 配置

使用Zookeeper 部署HDFS HA 配置

阿新 • • 發佈：2018-04-10
大數據 hadoop

  • 一：系統環境配置
  • 二：軟件需求
  • 三：安裝zookeeper處理
  • 四：編輯hadoop 配置文件
  • 五：啟動服務
  • 六：配置zookeeper自動故障轉移

一：系統環境配置：

承接 在上文檔hadoop 分布式的文檔進行部署

二： 軟件需求：

 在前環境 狀態下增加zookeeper-3.4.6.tar.gz 包
上傳zookeeper 包到/home/hadoop/yangyang/目錄下面

三： 安裝zookeeper 環境

在master.hadoop.com 上面
tar –zxvf zookeeper-3.4.6.tar.gz 
rm –rf zookeeper-3.5.6.tar.gz
mv zookeeper-3.4.6 zookeeper
cd zookeeper/conf
cp -p zoo_sample.cfg zoo.cfg
vim zoo.cfg

技術分享圖片

#mkdir zookeeper/data
#echo “1” > zookeeper/data/myid
同步其它節點處理：
scp –r zoo* [email protected]:/home/hadoop/yangyang/
scp –r zoo* [email protected]:/home/hadoop/yangyang/
slave1.hadoop.com
echo “2” > zookeeper/data/myid
slave2.hadoop.com
echo “3” > zookeeper/data/myid

3.1 zookeeper 相關命令

3.1.1. 顯示根目錄下、文件： ls / 使用 ls 命令來查看當前 ZooKeeper 中所包含的內容
3.1.2. 顯示根目錄下、文件： ls2 / 查看當前節點數據並能看到更新次數等數據
3.1.3 創建文件，並設置初始內容： create /zk "test" 創建一個新的 znode節點“ zk ”以及與它關聯的字符串
3.1.4 獲取文件內容： get /zk 確認 znode 是否包含我們所創建的字符串
3.1.5 修改文件內容： set /zk "zkbak" 對 zk 所關聯的字符串進行設置
3.1.6 刪除文件： delete /zk 將剛才創建的 znode 刪除
3.1.7 退出客戶端： quit
3.1.8 幫助命令： help
 
master.hadoop.com 
cd /home/hadoop/yangyang/zookeeper/bin
./zkServer.sh status

技術分享圖片

slave1.hadoop.com
cd /home/hadoop/yangyang/zookeeper/bin
./zkServer.sh status

技術分享圖片

slave2.hadoop.com

技術分享圖片

Zookeeper 的進入命令窗口：
./zkCli.sh

技術分享圖片

ls /

技術分享圖片

create /zk “yangyang”

技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片

四： 編輯改變hadoop 的配置文件

編輯core-site.xml 文件：
vim core-site.xml

<property>
      <name>fs.defaultFS</name>
      <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/yangyang/hadoop/data</value>
    </property>

編輯hdfs-site.xml 文件：

<configuration>
    <property>
       <name>dfs.replication</name>
       <value>3</value>
    </property>
    <property>
      <name>dfs.nameservices</name>
      <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
#######################nn1###############################
    <property>
      <name>dfs.namenode.rpc-address.mycluster.nn1</name>
      <value>master.hadoop.com:8020</value>
    </property>
    <property>
      <name>dfs.namenode.http-address.mycluster.nn1</name>
      <value>master.hadoop.com:50070</value>
    </property>

#######################nn2###############################
    <property>
      <name>dfs.namenode.rpc-address.mycluster.nn2</name>
      <value>slave1.hadoop.com:8020</value>
    </property> 
    <property>
      <name>dfs.namenode.http-address.mycluster.nn2</name>
      <value>slave1.hadoop.com:50070</value>
    </property>
#######################journal node#######################
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master.hadoop.com:8485;slave1.hadoop.com:8485;slave2.hadoop.com:8485/mycluster</value>
    </property>
    <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/home/hadoop/yangyang/hadoop/data/jn</value>
    </property>
##########################proxy###########################
    <property>
      <name>dfs.client.failover.proxy.provider.mycluster</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
##########################fence###########################
    <property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
    </property>
    <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
</configuration>
同步所有hadoop 的配置文件：
 tar –zcvf hadoop.tar.gz hadoop
scp hadoop.tar.gz [email protected]:/home/hadoop/yangyang/
scp hadoop.tar.gz [email protected]:/home/hadoop/yangyang/

五：啟動服務

   啟動所有節點journalnode 節點：
  master.hadoop.com
  cd /home/hadoop/yangyang/hadoop/
  sbin/hadoop-daemon.sh start journalnode

技術分享圖片

  啟動master.hadoop.com的namenode 與datanode
sbin/hadoop-daemon.sh start namenode 
sbin/hadoop-daemon.sh start datanode

技術分享圖片
打開瀏覽器訪問：
技術分享圖片
slave1.hadoop.com 進行節點同步master.hadoop.com
bin/hdfs namenode –bootstrapStandby
技術分享圖片
啟動slave1.hadoop.com 節點的namenode 與datanode
sbin/hadoop-daemon.sh start namenode
技術分享圖片
sbin/hadoop-daemon.sh start datanode
技術分享圖片
技術分享圖片
打開瀏覽器處理
技術分享圖片
手動切換master.hadoop.com 為active 狀態：
bin/hdfs haadmin -transitionToActive nn1
技術分享圖片
創建目錄與上傳測試：
技術分享圖片
技術分享圖片
瀏覽器查看master.hadoop.com 的hdfs active 節點
技術分享圖片
瀏覽器查看slave1.hadoop.com 的hdfs standby 節點：
技術分享圖片
手動切換 將master.haoop.com 切換為standby 將slave1.hadoop.com 切換為active
master.hadoop.com:
bin/hdfs haadmin -transitionToStandby nn1
技術分享圖片
將slave1.hadoop.com 變為active 節點：
bin/hdfs haadmin -transitionToActive nn2
技術分享圖片
瀏覽器查看：
master.hadoop.com
技術分享圖片
技術分享圖片
slave1.hadoop.com瀏覽器查看：
技術分享圖片
技術分享圖片

六：配置zookeeper自動故障轉移

  • 6.1. 更改配置文件 
    master.hadoop .com 
編輯core-site.xml
在configuration 中增加
<property>
   <name>ha.zookeeper.quorum</name>
   <value>master.hadoop.com:2181,slave1.hadoop.com:2181,slave2.hadoop.com:2181</value>
</property>
編輯hdfs-site.xml 文件
在configuration 中 增加：
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
</property>
    • 6.2同步所有節點 
      cd /home/hadoop/yangyang/hadoop/etc/hadoop/
scp core-site.xml [email protected]:/home/hadoop/yangyang/
hadoop/etc/hadoop/
scp hdfs-site.xml [email protected]:/home/hadoop/yangyang/
hadoop/etc/hadoop/
    • 6.3 停掉所有服務
      ./stop-dfs.sh
      技術分享圖片
    • 6.4 啟動所有節點的zookeeper
      cd /home/hadoop/yangyang/zookeeper/bin
      ./zkServer.sh start
      技術分享圖片
      其他節點同樣啟動
      啟動如master.hadoop.com 節點一樣
    • 6.5 初始化ZK
      cd /home/hadoop/yangyang/hadoop/bin/
      ./hdfs zkfc –formatZK
      技術分享圖片
      技術分享圖片
    • 6.6 啟動HDFS 與瀏覽器測試：
      cd /home/hadoop/yangyang/hadoop/sbin/
      ./start-dfs.sh
      技術分享圖片
      jps 檢查：
      master.hadoop.com
      技術分享圖片
      slave1.hadoop.com
      技術分享圖片
      slave2.hadoop.com
      技術分享圖片
      查看瀏覽器：
      master.hadoop.com
      技術分享圖片
      slave1.hadoop.com
      技術分享圖片
    • 6.7驗證故障轉移：
      殺掉 master.hadoop.com 的namenode 進程
      技術分享圖片
      slave1.hadoop.com
      技術分享圖片
      啟動master.hadoop.com 的namenode
      ./hadoop-daemon.sh start namenode
      技術分享圖片
      技術分享圖片
      技術分享圖片

使用Zookeeper 部署HDFS HA 配置

相關推薦

使用Zookeeper 部署HDFS HA 配置

大數據 hadoop 一：系統環境配置 二：軟件需求 三：安裝zookeeper處理 四：編輯hadoop 配置文件 五：啟動服務 六：配置zookeeper自動故障轉移 一：系統環境配置： 承接 在上文檔hadoop 分布式的文檔進行部署 二： 軟件需求： 在前環境 狀態下增加zooke

部署HDFS HA的環境

shared tom tro source 多個 erp .config host error ===> 環境架構部署規劃： bigdata1 NameNode ResourceManager Zookeeper JournalNode failOverContr

Hadoop3.0叢集安裝（包含HDFS HA配置）

hadoop3.0出來了，想嘗試一下新版本的特性及mapreduce效能提升，以下以6臺機器作為hadoop叢集，機器主機名為：hadoop1、hadoop2、hadoop3、hadoop4、hadoop5、hadoop6，其中hadoop1-3作為namenode節點，ha

一鍵配置高可用Hadoop叢集（hdfs HA+zookeeper HA）

準備環境 3臺節點，主節點 建議 2G 記憶體，兩個從節點 1.5G記憶體， 橋接網路    關閉防火牆 配置ssh，讓節點之間能夠相互 ping 通 準備  軟體放到 autoInstall  目錄下，已存放 hadoop-2.9.0.tar.g

Spark HA 配置中spark.deploy.zookeeper.url 的意思

pts ubun 後來 spark 錯誤 解密 mas java 說明 Spark HA的配置網上很多，最近我在看王林的Spark的視頻，要付費的。那個人牛B吹得很大，本事應該是有的，但是有本事，不一定就是好老師。一開始吹中國第一，吹著吹著就變成世界第一。就算你真的是世界第

Hadoop的配置文件設置(HDFS HA)

stop love edi 搶占 守護 core .html 搶占式 zookeep 參考：http://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWi

Hadoop 2.5.2 HDFS HA+YARN HA 應用配置

大數據 hadoop 一：所需安裝配置包 二：CentOS6.4x64 主機名配置 三：journalnode 配置zookeeper 安裝 四：在namenode節點上部署hadoop 2.5.2 五：hadoop 集群的測試： 一：所需安裝配置包 系統：CentOS 6.4 X64 軟件

使用QJM實現HDFS的HA配置

接管 刪除 響應 def 修改 不可用 可用性 art conf 使用QJM實現HDFS的HA配置 1、背景 hadoop 2.0.0之前，namenode存在單點故障問題（SPOF，single point of failure），如果主機或進程不可用時，整個集群就變得不

大資料之五 hadoop HDFS HA叢集客戶端+eclipse配置

首先我們選擇一臺客戶機，任意選擇，只要能與叢集通訊即可，這裡就使用真機 將叢集中配置好的 hadoop 安裝包拷貝到真機上 配置 hadoop 的環境變數 HADOOP_HOME：hadoop安裝包的位置 HADOOP_USER_NAME：登入叢集的使用者名稱稱，只要是可以登入叢集的使用者名稱就可以，這裡配

Hadoop(25)-高可用叢集配置,HDFS-HA和YARN-HA

一. HA概述 1. 所謂HA（High Available），即高可用（7*24小時不中斷服務）。 2. 實現高可用最關鍵的策略是消除單點故障。HA嚴格來說應該分成各個元件的HA機制：HDFS的HA和YARN的HA。 3. Hadoop2.0之前，在HDFS叢集中NameNode存在單點故障（SPOF

HDFS-HA的配置-----自動Failover（ZKFC）

1.1  ZK叢集：     作為一個高可靠系統，能夠為一小部分協同資料提供監控，將資料的更改隨時反應給客戶端。HDFS的HA依賴zk提供的兩個特性：一個是錯誤監測，一個是活動節點選舉 Failure detection    每個NN都會在ZK中註冊並且持久化一個session。一旦一個NN失效了，那麼

HDFS-HA的配置-----自動Failover

tickTime=2000 dataDir=/home/ziang/DfsDataDir/zookeeper clientPort=31315 initLimit=5 syncLimit=2 server.1=dw13:31316:31317 server.2=dw14:31316:31317 server.

HAWQ配置之HDFS HA

一、在ambari管理介面啟用HDFS HA 在ambari中這步很簡單，在所有安裝的服務都正常之後，在HDFS的服務介面中，點選下拉選單“Actions”，選擇啟用HDFS HA項 “Enable NameNode HA”，然後根據提示嚮導一步一步的認真做就可以了。尤其需要注意的是手動操作的環節不用出錯。

Hadoop之旅（7）— HDFS HA Zookeeper自動故障轉移

<!-- 兩個NameNode --> <property> <name>dfs.nameservices</name> <value>ns1</value> </property> <property&g

Hadoop的HA機制(Zookeeper叢集+Hadoop叢集)配置記錄

博主：hadoop_version=2.4.1 java_version=1.7 zooKeeper_version=3.4.5 Linux =CentOs 6.5 1.首先說明HA是什麼？

CDH中配置HDFS HA 及shell 指令碼

最近又安裝 hadoop 叢集， 故嘗試了一下配置 HDFS 的 HA，CDH4支援Quorum-based Storage和shared storage using NFS兩種HA方案，而CDH5只支援第一種方案，即 QJM 的 HA 方案。 叢集規劃 我一共安裝了三個節點的叢集，對於 HA 方案來說

基於Zookeeper的HDFS高可用配置

前言 在 Hadoop 1.X版本中，NameNode是整個HDFS叢集的單點故障（single point of failure，SPOF）：每一個HDFS叢集只能有一個NameNode節點，一旦NameNode所在伺服器宕機或者出現故障將導致整個叢集都不可用，除非重啟或

Hadoop完全分散式HA配置hdfs zkfc -formatZK錯誤

16/05/08 21:01:39 INFO zookeeper.ClientCnxn: Opening socket connection to server node2/192.168.17.3:2181. Will not attempt to authenticate using SASL (unk

在HDFS HA上部署HBase

hbase需要根據hadoop2.0裡的hdfs HA方案做相應修改。 實際操作時將hdfs的配置檔案core-site.xml和hdfs-site.xml拷貝到hbase的conf目錄下即可解決

VCSA 6.5 HA配置 之三 ：準備工作

vmware vcenter ha 高可用 vcsa 接著上一篇文章部署完成VCSA 6.5後，還需要做一些準備工作才能開啟高可用功能，本篇文章主要就講述如何為vCenter 高可用進行準備工作配置vCenter HA網絡從vCenter HA的架構圖中可以看出對於vCenter HA的高