Hadoop-HA 搭建高可用叢集Hadoop Zookeeper

阿新 • • 發佈：2022-05-25

Hadoop Zookeeper 搭建（一）

一、準備工作

VMWARE虛擬機器 CentOS 7 系統

虛擬機器1：master

虛擬機器2：node1

虛擬機器3：node2

時間同步
```
ntpdate ntp.aliyun.com
```

調整時區

cp  /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime

jdk1.8(以1.8為例，目前大多數企業都是使用1.8版本，最穩定)
```
java -version
```

修改主機名

三臺分別執行 vim /etc/hostname 並將內容指定為對應的主機名

關閉防火牆：systemctl stop firewalld
- 檢視防火牆狀態：systemctl status firewalld
- 取消防火牆自啟：systemctl disable firewalld

靜態IP配置

直接使用圖形化介面配置（不推薦）

手動編輯配置檔案進行配置

1、編輯網路配置檔案
vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet
BOOTPROTO=static
HWADDR=00:0C:29:E2:B8:F2
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.190.100
GATEWAY=192.168.190.2
NETMASK=255.255.255.0
DNS1=192.168.190.2
DNS2=223.6.6.6

需要修改：HWADDR（mac地址,centos7不需要手動指定mac地址）
        IPADDR（根據自己的網段，自定義IP地址）
        GATEWAY（根據自己的網段填寫對應的閘道器地址）

2、關閉NetworkManager，並取消開機自啟
systemctl stop NetworkManager
systemctl disable NetworkManager

3、重啟網路服務
systemctl restart network

免密登入

# 1、生成金鑰
ssh-keygen -t rsa
注意：連敲三次生成方格形狀的金鑰，在當前狀態下，配置免金鑰登陸。
# 2、配置免密登入（三臺虛擬機器都需要進行免密操作，不要怕麻煩！！）
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
# 3、測試免密登入
ssh node1
ssh node2
ssh master

配置好對映檔案：/etc/hosts（三臺虛擬機器都需要配置）

192.168.170.100 master
192.168.170.101 node1
192.168.170.102 node2
注意：每個人的IP地址都是不一樣的，檢視自己的IP地址使用 ifconfig
使用遠端複製
cd /etc
scp -r hosts/ node1:`pwd`
scp -r hosts/ node2:`pwd`

二、 Zookeeper 搭建

1、上傳安裝包到master並解壓

    tar -xvf zookeeper-3.4.6.tar.gz
官網下載：
https://zookeeper.apache.org/

2、配置環境變數

vim /etc/profile

export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin
儲存退出，執行
source /etc/profile

配置node1和node2的環境變數
scp /etc/profile node1:/etc/
scp /etc/profile node2:/etc/

在所有節點執行
source /etc/profile

3、修改配置檔案

cd /usr/local/soft/zookeeper-3.4.6/(解壓後的目錄)
	cd conf
zoo_sample.cfg(是一個模板檔案，_sample字尾，不起任何效果，需要複製一份)
	cp  zoo_sample.cfg zoo.cfg

修改
dataDir=/usr/local/soft/zookeeper-3.4.6/data

檔案最後位置增加
server.0=master:2888:3888
server.1=node1:2888:3888
server.2=node2:2888:3888

4、同步到其它節點

	scp -r zookeeper-3.4.6 node1:`pwd`
	scp -r zookeeper-3.4.6 node2:`pwd`

5、建立/usr/local/soft/zookeeper-3.4.6/data目錄,所有節點都要建立

mkdir /usr/local/soft/zookeeper-3.4.6/data

在data目錄下建立myid檔案
vim myid 
master,node1,node2分別加上0，1，2

6、啟動zk， zkServer.sh start 三臺都需要執行

zkServer.sh status 檢視狀態

當有一個leader的時候啟動成功

連線zk zkCli.sh

zk  是一個目錄結構 ，每個節點可以存資料，同時可以有子節點

zk shell

建立目錄
create /test test
create /test/a 1

獲取資料
get /test
 
ls /test

delete 只能刪除沒有子節點的節點
rmr /test  刪除節點

重置zk 1、殺掉所有zk程序 kiil -9 pid

2、刪除data目錄下的version檔案, 所有節點都要刪除 rm -rf /usr/local/soft/zookeeper-3.4.6/data/version-2

2、啟動zk zkServer.sh start

Hadoop -HA 高可用搭建（二）

一、準備工作(做之前拍攝快照)

VMWARE虛擬機器 CentOS 7 系統

虛擬機器1：master

虛擬機器2：node1

虛擬機器3：node2

時間同步
```
ntpdate ntp.aliyun.com
```

調整時區

cp  /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime

jdk1.8(以1.8為例，目前大多數企業都是使用1.8版本，最穩定)
```
java -version
```

修改主機名

三臺分別執行 vim /etc/hostname 並將內容指定為對應的主機名

關閉防火牆：systemctl stop firewalld
- 檢視防火牆狀態：systemctl status firewalld
- 取消防火牆自啟：systemctl disable firewalld

靜態IP配置

直接使用圖形化介面配置（不推薦）

手動編輯配置檔案進行配置

1、編輯網路配置檔案
vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet
BOOTPROTO=static
HWADDR=00:0C:29:E2:B8:F2
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.190.100
GATEWAY=192.168.190.2
NETMASK=255.255.255.0
DNS1=192.168.190.2
DNS2=223.6.6.6

需要修改：HWADDR（mac地址,centos7不需要手動指定mac地址）
        IPADDR（根據自己的網段，自定義IP地址）
        GATEWAY（根據自己的網段填寫對應的閘道器地址）

2、關閉NetworkManager，並取消開機自啟
systemctl stop NetworkManager
systemctl disable NetworkManager

3、重啟網路服務
systemctl restart network

免密登入

# 1、生成金鑰
ssh-keygen -t rsa
注意：連敲三次生成方格形狀的金鑰，在當前狀態下，配置免金鑰登陸。
# 2、配置免密登入（三臺虛擬機器都需要進行免密操作，不要怕麻煩！！）
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
# 3、測試免密登入
ssh node1
ssh node2
ssh master

配置好對映檔案：/etc/hosts（三臺虛擬機器都需要配置）

192.168.170.100 master
192.168.170.101 node1
192.168.170.102 node2
注意：每個人的IP地址都是不一樣的，檢視自己的IP地址使用 ifconfig
使用遠端複製
cd /etc
scp -r hosts/ node1:`pwd`
scp -r hosts/ node2:`pwd`

二、 Zookeeper 搭建（一中有詳細教程）

        ZK  NN  DN  RM  NM  JN  ZKFC
master  1   1       1       1   1
node1   1   1   1   1   1   1   1
node2   1       1       1   1

停止HDFS叢集：stop-dfs.sh

1、修改hadoop配置檔案

cd  /usr/local/soft/hadoop-2.7.6/etc/hadoop
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml

舉例檢視：

[root@master hadoop]# ll
總用量 156
-rw-r--r-- 1 20415  101  4436 4月  18 2018 capacity-scheduler.xml
-rw-r--r-- 1 20415  101  1335 4月  18 2018 configuration.xsl
-rw-r--r-- 1 20415  101   318 4月  18 2018 container-executor.cfg
-rw-r--r-- 1 20415  101  1100 5月  21 15:40 core-site.xml
-rw-r--r-- 1 20415  101  3670 4月  18 2018 hadoop-env.cmd
-rw-r--r-- 1 20415  101  4269 5月  21 17:38 hadoop-env.sh
-rw-r--r-- 1 20415  101  2598 4月  18 2018 hadoop-metrics2.properties
-rw-r--r-- 1 20415  101  2490 4月  18 2018 hadoop-metrics.properties
-rw-r--r-- 1 20415  101  9683 4月  18 2018 hadoop-policy.xml
-rw-r--r-- 1 20415  101   961 5月  21 15:43 hdfs-site.xml
-rw-r--r-- 1 20415  101  1449 4月  18 2018 httpfs-env.sh
-rw-r--r-- 1 20415  101  1657 4月  18 2018 httpfs-log4j.properties
-rw-r--r-- 1 20415  101    21 4月  18 2018 httpfs-signature.secret
-rw-r--r-- 1 20415  101   620 4月  18 2018 httpfs-site.xml
-rw-r--r-- 1 20415  101  3518 4月  18 2018 kms-acls.xml
-rw-r--r-- 1 20415  101  1527 4月  18 2018 kms-env.sh
-rw-r--r-- 1 20415  101  1631 4月  18 2018 kms-log4j.properties
-rw-r--r-- 1 20415  101  5540 4月  18 2018 kms-site.xml
-rw-r--r-- 1 20415  101 11801 4月  18 2018 log4j.properties
-rw-r--r-- 1 20415  101   951 4月  18 2018 mapred-env.cmd
-rw-r--r-- 1 20415  101  1383 4月  18 2018 mapred-env.sh
-rw-r--r-- 1 20415  101  4113 4月  18 2018 mapred-queues.xml.template
-rw-r--r-- 1 root  root  1116 5月  21 15:44 mapred-site.xml
-rw-r--r-- 1 20415  101   758 4月  18 2018 mapred-site.xml.template
-rw-r--r-- 1 20415  101    12 5月  21 15:44 slaves
-rw-r--r-- 1 20415  101  2316 4月  18 2018 ssl-client.xml.example
-rw-r--r-- 1 20415  101  2697 4月  18 2018 ssl-server.xml.example
-rw-r--r-- 1 20415  101  2191 4月  18 2018 yarn-env.cmd
-rw-r--r-- 1 20415  101  4567 4月  18 2018 yarn-env.sh
-rw-r--r-- 1 20415  101  1185 5月  21 15:45 yarn-site.xml

修改配置檔案

core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://cluster</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
	</property>
	<property>
		<name>fs.trash.interval</name>
		<value>1440</value>
	</property>
	<property>
	      <name>ha.zookeeper.quorum</name>
	      <value>master:2181,node1:2181,node2:2181</value>
	</property>
</configuration>

修改配置檔案

hdfs-site.xml

<configuration>
<!-- 指定hdfs元資料儲存的路徑 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/data/namenode</value>
</property>

<!-- 指定hdfs資料儲存的路徑 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/data/datanode</value>
</property>

<!-- 資料備份的個數 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<!-- 關閉許可權驗證 -->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

<!-- 開啟WebHDFS功能（基於REST的介面服務） -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

<!-- //////////////以下為HDFS HA的配置////////////// -->
<!-- 指定hdfs的nameservices名稱為mycluster -->
<property>
<name>dfs.nameservices</name>
<value>cluster</value>
</property>

<!-- 指定cluster的兩個namenode的名稱分別為nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.cluster</name>
<value>nn1,nn2</value>
</property>

<!-- 配置nn1,nn2的rpc通訊埠 -->
<property>
<name>dfs.namenode.rpc-address.cluster.nn1</name>
<value>master:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster.nn2</name>
<value>node1:8020</value>
</property>

<!-- 配置nn1,nn2的http通訊埠 -->
<property>
<name>dfs.namenode.http-address.cluster.nn1</name>
<value>master:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster.nn2</name>
<value>node1:50070</value>
</property>

<!-- 指定namenode元資料儲存在journalnode中的路徑 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;node1:8485;node2:8485/cluster</value>
</property>

<!-- 指定journalnode日誌檔案儲存的路徑 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/data/journal</value>
</property>

<!-- 指定HDFS客戶端連線active namenode的java類 -->
<property>
<name>dfs.client.failover.proxy.provider.cluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 配置隔離機制為ssh -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

<!-- 指定祕鑰的位置 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>：

<!-- 開啟自動故障轉移 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
</configuration>

yarn 高可用修改配置檔案

yarn-site.xml

<configuration>
<!-- 指定MapReduce計算框架使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<!-- 指定jobhistory server的rpc地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>node1:10020</value>
</property>

<!-- 指定jobhistory server的http地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node1:19888</value>
</property>

<!-- 開啟uber模式（針對小作業的優化） -->
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>

<!-- 配置啟動uber模式的最大map數 -->
<property>
<name>mapreduce.job.ubertask.maxmaps</name>
<value>9</value>
</property>

<!-- 配置啟動uber模式的最大reduce數 -->
<property>
<name>mapreduce.job.ubertask.maxreduces</name>
<value>1</value>
</property>
</configuration>

修改配置檔案

mapred-site.xml

<!-- 指定MapReduce計算框架使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<!-- 指定jobhistory server的rpc地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>node1:10020</value>
</property>

<!-- 指定jobhistory server的http地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node1:19888</value>
</property>

<!-- 開啟uber模式（針對小作業的優化） -->
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>

<!-- 配置啟動uber模式的最大map數 -->
<property>
<name>mapreduce.job.ubertask.maxmaps</name>
<value>9</value>
</property>

<!-- 配置啟動uber模式的最大reduce數 -->
<property>
<name>mapreduce.job.ubertask.maxreduces</name>
<value>1</value>
</property>

5、刪除hadoop資料儲存目錄下的檔案每個節點都需要刪除（直接刪除其他節點上的 /hadoop-2.7.6/ 資料夾）

注：原來的節點上沒有Hadoop這個檔案就不要刪除了！！

其他節點上刪除   node1   node2
rm -rf /usr/local/soft/hadoop-2.7.6/

同步到其它節點 (遠端複製一份到其他兩個節點上去)

cd /usr/local/soft/
scp -r hadoop-2.7.6/ node1:`pwd`
scp -r hadoop-2.7.6/ node2:`pwd`

三、啟動程序 (按照一下順序進行操作)

6、啟動zookeeper 三臺都需要啟動 zkServer.sh start zkServer.sh status

7、啟動JN 儲存hdfs元資料三臺JN上執行啟動命令：

cd /usr/local/soft/hadoop-2.7.6/sbin/
hadoop-daemon.sh start journalnode

8、格式化在一臺NN上執行，這裡選擇master

hdfs namenode -format

啟動當前的NN

hadoop-daemon.sh start namenode

9、執行同步沒有格式化的NN上執行在另外一個namenode上面執行這裡選擇node1

/usr/local/soft/hadoop-2.7.6/bin/
hdfs namenode -bootstrapStandby

10、格式化ZK 在master上面執行！！一定要先把zk叢集正常啟動起來

/usr/local/soft/hadoop-2.7.6/bin/
hdfs zkfc -formatZK

11、啟動hdfs叢集,在master上執行

start-dfs.sh

最後在頁面檢視（以下顯示，叢集搭建成功）

http://master:50070/   或者     http://192.168.170.110:50070/

http://node1:50070/    或者     http://192.168.170.120:50070/

關閉

stop-all.sh

Hadoop-HA 搭建高可用叢集Hadoop Zookeeper

Hadoop Zookeeper 搭建（一）一、準備工作 VMWARE虛擬機器 CentOS 7 系統虛擬機器1：master

MongoDB搭建高可用叢集的完整步驟（3個分片+3個副本）

配置指令碼以及目錄下載：點我下載一、規劃好埠ip 架構圖如下，任意抽取每個副本集中的一個分片（非仲裁節點）可以組成一份完整的資料。

Springcloud eureka搭建高可用叢集過程圖解

一前言 eureka作為註冊中心，其充當著服務註冊與發現功能，載入負載均衡；若在專案執行中eureka掛了，那麼整個服務整體都會暫停，所以為服務執行的安全性，有必要搭建eureka叢集；當其中一個eureka節點掛了，我們還

Hadoop 系列（八）—— 基於 ZooKeeper 搭建 Hadoop 高可用叢集

一、高可用簡介 Hadoop 高可用 (High Availability) 分為 HDFS 高可用和 YARN 高可用，兩者的實現基本類似，但 HDFS NameNode 對資料儲存及其一致性的要求比 YARN ResourceManger 高得多，所以它的實現也更加複雜，故

【大資料】Hadoop的高可用叢集(HA)部署

這裡基於之前的博文，即在全分散式安裝的基礎上增量部署高可用叢集。叢集部署表如下：

Hadoop高可用叢集搭建

技術標籤：大資料hadoop大資料hdfsmapreducezookeeper 一、HDFS-HA叢集配置1.1 配置HDFS-HA叢集 1.官方地址：http://hadoop.apache.org/ 2.HDFS高可用叢集規劃，請先搭建好一個Hadoop完全分散式叢集（可以未進行

Kafka 系列（二）—— 基於 ZooKeeper 搭建 Kafka 高可用叢集

一、Zookeeper叢集搭建為保證叢集高可用，Zookeeper 叢集的節點數最好是奇數，最少有三個節點，所以這裡搭建一個三個節點的叢集。

Spark 系列（七）—— 基於 ZooKeeper 搭建 Spark 高可用叢集

一、叢集規劃這裡搭建一個 3 節點的 Spark 叢集，其中三臺主機上均部署 Worker 服務。同時為了保證高可用，除了在 hadoop001 上部署主 Master 服務外，還在 hadoop002 和 hadoop003 上分別部署備用的 Master 服務，

Hadoop 2.x HA（高可用）實戰

歡迎關注個人部落格

企業部分之-HA高可用叢集的搭建

高可用念叢集的概念：高可用叢集就是當某一個節點或伺服器發生故障時，另一個節點能夠自動且立即向外提供服務，即將有故障節點上的資源轉移到另一個節點上去，這樣另一個節點有了資源既可以向外提供服務。

七、Hadoop3.3.1 HA 高可用叢集QJM （基於Zookeeper，NameNode高可用+Yarn高可用）

目錄前文pom.xml檔案增加依賴新建java檔案：ZookeeperTestGitHub檔案下載前文一、CentOS7 hadoop3.3.1安裝(單機分散式、偽分散式、分散式

Keepalived+Nginx高可用叢集搭建筆記

前言 Keepalived是以VRRP（Virtual Router Redundancy Protocol，虛擬路由冗餘協議）協議為實現基礎的，這個協議可以認為是實現了路由器高可用的協議，將多臺提供相同功能的路由器組成一個路由器組。

Harbor1.9+Nginx高可用叢集倉庫搭建筆記

Harbor簡介 Harbor是一個用於儲存和分發Docker映象的企業級Registry伺服器，通過新增一些企業必需的功能特性，例如安全、標識和管理等，擴充套件了開源Docker Distribution。作為一個企業級私有Registry伺服器，Harb

CentOS 7.2搭建FastDFS 分散式檔案系統，實現高可用叢集

title: CentOS 7.2搭建FastDFS 分散式檔案系統，實現高可用叢集分散式叢集搭建結構

基於mysql+mycat搭建穩定高可用叢集負載均衡主備複製讀寫分離操作

資料庫效能優化普遍採用叢集方式，oracle叢集軟硬體投入昂貴，今天花了一天時間搭建基於mysql的叢集環境。

Kubernetes 1.18.0 二進位制高可用叢集搭建

本文出自劉騰飛視訊教程：http://video.jessetalk.cn/ 主要步驟準備虛擬機器環境，部署好centos，做好初始準備

搭建高可用kubernetes叢集(keepalived+haproxy)

序由於單master節點的kubernetes叢集，存在master節點異常之後無法繼續使用的缺陷。本文參考網管流程搭建一套多master節點負載均衡的kubernetes叢集。官網給出了兩種拓撲結構：堆疊control plane node和external et

搭建高可用kubernetes叢集(keepalived+haproxy)（轉載）

基於docker swarm的搭建高可用web叢集

專案描述實現一個高可用的負載均衡的web伺服器叢集，底層採用swarm管理的docker叢集來提供web服務，大量使用容器來完成web服務的擴充套件性、高可用性。

搭建高可用Kubernetes叢集之StorageClass+NFS（四）

一、什麼是StorageClass Kubernetes提供了一套可以自動建立PV的機制,即:Dynamic Provisioning.而這個機制的核心在於:StorageClass這個API物件.

Hadoop-HA 搭建高可用叢集Hadoop Zookeeper

Hadoop Zookeeper 搭建（一）

Hadoop -HA 高可用 搭建（二）

三、啟動程序 (按照一下順序進行操作)

最後在頁面檢視（以下顯示，叢集搭建成功）

相關推薦

Hadoop -HA 高可用搭建（二）