2. 程式人生 > 其它 >CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 叢集服務

CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 叢集服務

阿新 • • 發佈：2022-04-28

CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 叢集服務

Zookeeper 概述

zookeeper實際上是yahoo開發的，用於分散式中一致性處理的框架。最初其作為研發Hadoop時的副產品。由於分散式系統中一致性處理較為困難，其他的分散式系統沒有必要 費勁重複造輪子，故隨後的分散式系統中大量應用了zookeeper，以至於zookeeper成為了各種分散式系統的基礎元件，其地位之重要，可想而知。著名的hadoop，kafka，dubbo 都是基於zookeeper而構建。

要想理解zookeeper到底是做啥的，那首先得理解清楚，什麼是一致性？

所謂的一致性，實際上就是圍繞著“看見”來的。誰能看見？能否看見？什麼時候看見？舉個例子：淘寶後臺賣家，在後臺上架一件大促的商品，通過伺服器A提交到主資料庫，假設剛提交後立馬就有使用者去通過應用伺服器B去從資料庫查詢該商品，就會出現一個現象，賣家已經更新成功了，然而買家卻看不到；而經過一段時間後，主資料庫的資料同步到了從資料庫，買家就能查到了。

假設賣家更新成功之後買家立馬就能看到賣家的更新，則稱為強一致性

如果賣家更新成功後買家不能看到賣家更新的內容，則稱為弱一致性

而賣家更新成功後，買家經過一段時間最終能看到賣家的更新，則稱為最終一致性

《一致性協議》

《ZooKeeper應用場景》

《分散式架構》

《分散式 ZooKeeper 系列》

環境

VMware版本號：12.0.0

CentOS版本：CentOS 7.3.1611

ZooKeeper版本：ZooKeeper-3.4.9.tar.gz

虛擬機器IP：192.168.252.101，192.168.252.102，192.168.252.103

叢集主機名稱：node1，node2，node3 具體參考

《CentOs7.3 修改主機名》

叢集主機使用者：都是用root使用者

叢集JDK環境：jdk-8u144-linux-x64.tar.gz JDK 1.8 安裝 具體參考《CentOs7.3 安裝 JDK1.8》

叢集主機之間設定免密登陸：設定方式見：《CentOs7.3 ssh 免密登入》

注意事項

關閉防火牆

centos 6.x 關閉 iptables

$ service iptables stop # 關閉命令：

centos 7.x 關閉firewall

$ systemctl stop firewalld.service # 停止firewall

ZooKeeper 安裝

$ cd /opt/
$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz

或者在瀏覽器下載上傳至opt 目錄

2.提取tar檔案

$ cd /opt/
$ tar -zxf  zookeeper-3.4.9.tar.gz
$ cd zookeeper-3.4.9

建立data資料夾 用於儲存資料檔案

$ mkdir /opt/zookeeper-3.4.9/data

建立logs資料夾 用於儲存日誌

$ mkdir /opt/zookeeper-3.4.9/logs

3.建立配置檔案

zoo.cfg

zookeeper的主要配置檔案，因為Zookeeper是一個叢集服務，叢集的每個節點都需要這個配置檔案。為了避免出差錯，zoo.cfg這個配置檔案裡沒有跟特定節點相關的配置，所以每個節點上的這個zoo.cfg都是一模一樣的配置。這樣就非常便於管理了，比如我們可以把這個檔案提交到版本控制裡管理起來。其實這給我們設計集群系統的時候也是個提示：集群系統一般有很多配置，應該儘量將通用的配置和特定每個服務的配置(比如服務標識)分離，這樣通用的配置在不同服務之間copy就ok了

$ vi /opt/zookeeper-3.4.9/conf/zoo.cfg

編輯內容如下

tickTime = 2000
dataDir =  /opt/zookeeper-3.4.9/data
dataLogDir = /opt/zookeeper-3.4.9/logs
tickTime = 2000
clientPort = 2181
initLimit = 5
syncLimit = 2

server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

配置檔案描述

tickTime

  • tickTime則是上述兩個超時配置的基本單位，例如對於initLimit，其配置值為5，說明其超時時間為 2000ms * 5 = 10秒。

dataDir

  • 其配置的含義跟單機模式下的含義類似，不同的是叢集模式下還有一個myid檔案。myid檔案的內容只有一行，且內容只能為1 - 255之間的數字，這個數字亦即上面介紹server.id中的id，表示zk程序的id。

dataLogDir

  • 如果沒提供的話使用的則是dataDir。zookeeper的持久化都儲存在這兩個目錄裡。dataLogDir裡是放到的順序日誌(WAL)。而dataDir裡放的是記憶體資料結構的snapshot，便於快速恢復。為了達到效能最大化，一般建議把dataDir和dataLogDir分到不同的磁碟上，這樣就可以充分利用磁碟順序寫的特性。

initLimit

  • ZooKeeper叢集模式下包含多個zk程序，其中一個程序為leader，餘下的程序為follower。 當follower最初與leader建立連線時，它們之間會傳輸相當多的資料，尤其是follower的資料落後leader很多。initLimit配置follower與leader之間建立連線後進行同步的最長時間。

syncLimit

  • 配置follower和leader之間傳送訊息，請求和應答的最大時間長度。

server.id=host:port1:port2

server.id 其中id為一個數字，表示zk程序的id，這個id也是data目錄下myid檔案的內容

host 是該zk程序所在的IP地址

port1 表示follower和leader交換訊息所使用的埠

port2 表示選舉leader所使用的埠

4.建立myid 檔案

在data裡會放置一個myid檔案，裡面就一個數字，用來唯一標識這個服務。這個id是很重要的，一定要保證整個叢集中唯一

ZooKeeper會根據這個id來取出server.x上的配置。比如當前id為1，則對應著zoo.cfg裡的server.1的配置

$ echo "1" > /opt/zookeeper-3.4.9/data/myid

這樣一臺node1機器就配置完了

5.複製叢集配置

在叢集node1 上執行,複製配置好的zookeeper到其他兩臺主機上

$ for a in {2..3} ; do scp -r /opt/zookeeper-3.4.9/ node$a:/opt/zookeeper-3.4.9 ; done

在叢集node1 上執行 ,批量修改myid 檔案

$ for a in {1..3} ; do ssh node$a "source /etc/profile; echo $a > /opt/zookeeper-3.4.9/data/myid" ; done

叢集操作

在叢集任意一臺機器上執行

啟動叢集

$ for a in {1..3} ; do ssh node$a "source /etc/profile; /opt/zookeeper-3.4.9/bin/zkServer.sh start" ; done

響應

ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

連線叢集

$ /opt/zookeeper-3.4.9/bin/zkCli.sh -server node1:2181,node2:2181,node3:2181

響應

Connecting to node1:2181,node2:2181,node3:2181
2017-08-23 11:08:10,323 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.9-1757313, built on 08/23/2016 06:50 GMT
2017-08-23 11:08:10,328 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=node1
2017-08-23 11:08:10,329 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_144
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/lib/jvm/jre
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/opt/zookeeper-3.4.9/bin/../build/classes:/opt/zookeeper-3.4.9/bin/../build/lib/*.jar:/opt/zookeeper-3.4.9/bin/../lib/slf4j-log4j12-1.6.1.jar:/opt/zookeeper-3.4.9/bin/../lib/slf4j-api-1.6.1.jar:/opt/zookeeper-3.4.9/bin/../lib/netty-3.10.5.Final.jar:/opt/zookeeper-3.4.9/bin/../lib/log4j-1.2.16.jar:/opt/zookeeper-3.4.9/bin/../lib/jline-0.9.94.jar:/opt/zookeeper-3.4.9/bin/../zookeeper-3.4.9.jar:/opt/zookeeper-3.4.9/bin/../src/java/lib/*.jar:/opt/zookeeper-3.4.9/bin/../conf:.:/lib/jvm/lib:/lib/jvm/jre/lib
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.10.0-514.26.2.el7.x86_64
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2017-08-23 11:08:10,332 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
2017-08-23 11:08:10,332 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/root
2017-08-23 11:08:10,333 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=node1:2181,node2:2181,node3:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@506c589e
2017-08-23 11:08:10,361 [myid:] - INFO  [main-SendThread(node3:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server node3/192.168.252.123:2181. Will not attempt to authenticate using SASL (unknown error)
Welcome to ZooKeeper!
JLine support is enabled
2017-08-23 11:08:10,474 [myid:] - INFO  [main-SendThread(node3:2181):ClientCnxn$SendThread@876] - Socket connection established to node3/192.168.252.123:2181, initiating session
[zk: node1:2181,node2:2181,node3:2181(CONNECTING) 0] 2017-08-23 11:08:10,535 [myid:] - INFO  [main-SendThread(node3:2181):ClientCnxn$SendThread@1299] - Session establishment complete on server node3/192.168.252.123:2181, sessionid = 0x35e0d0716340000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

[zk: node1:2181,node2:2181,node3:2181(CONNECTED) 0]

從日誌可以看出客戶端成功連線的是node3 連線上哪臺機器的zk程序是隨機的

2017-08-23 11:08:10,361 [myid:] - INFO  [main-SendThread(node3:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server node3/192.168.252.123:2181. Will not attempt to authenticate using SASL (unknown error)
Welcome to ZooKeeper!
JLine support is enabled

叢集狀態

$ for a in {1..3} ; do ssh node$a "source /etc/profile; /opt/zookeeper-3.4.9/bin/zkServer.sh status" ; done

響應

ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: leader
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower

通過日誌我可以看到 node2 leader (ps 是老大)，其他 node1 ,node2 follower (ps 都是小弟)

Leader 怎麼選舉的可以參考《Zookeeper的Leader選舉》

停止叢集

$ for a in {1..3} ; do ssh node$a "source /etc/profile; /opt/zookeeper-3.4.9/bin/zkServer.sh stop" ; done

響應

ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED

Contact

  • 作者：鵬磊
  • 出處：http://www.ymq.io
  • Email：[email protected]
  • 版權歸作者所有，轉載請註明出處
  • Wechat：關注公眾號，搜雲庫，專注於開發技術的研究與知識分享

相關推薦

CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 叢集服務

CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 叢集服務 Zookeeper 概述 zookeeper實際上是yahoo開發的，用於分散式中一致性處理的框架。最初其作為研發Hadoop時的副產品。由於分散式系統中一致性處理較為困難，其他的分散

CentOs7.3 搭建 ZooKeeper-3.4.9 單機服務

概述 zookeeper實際上是yahoo開發的，用於分散式中一致性處理的框架。最初其作為研發Hadoop時的副產品。由於分散式系統中一致性處理較為困難，其他的分散式系統沒有必要 費勁重複造輪子，故隨後的分散式系統中大量應

CentOs7.3 搭建 Redis-4.0.1 Cluster 叢集服務

CentOs7.3 搭建 Redis-4.0.1 Cluster 叢集服務 Redis 簡介 Redis 是完全開源免費的，遵守BSD協議，是一個高效能的key-value資料庫。

CentOs7.3 搭建 RabbitMQ 3.6 Cluster 叢集服務

CentOs7.3 搭建 RabbitMQ 3.6 Cluster 叢集服務 RabbitMQ是一個開源的AMQP實現，伺服器端用Erlang語言編寫，支援多種客戶端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支援AJAX。用

CentOS7 下安裝 ZooKeeper 3.7.0

1、環境與下載路徑 環境：ZooKeeper是基於Java的，所以系統中必須安裝好JDK，至少JDK1.8及以上。

7.2 k8s 基於PV、PVC搭建zookeeper 3節點叢集

1、PV，PVC介紹 1.1、StorageClass & PV & PVC關係圖 Volumes 是最基礎的儲存抽象，其支援多種型別，包括本地儲存、NFS、FC以及眾多的雲端儲存，我們也可以編寫自己的儲存外掛來支援特定的儲存系統。Vol

在 k8S 中搭建 SonarQube 7.4.9 版本（使用 PostgreSQL 資料庫）

搭建 SonarQube 和 PostgreSQL 服務 本文搭建的 SonarQube 版本是 7.4.9-community，由於在官方文件中宣告 7.9 版本之後就不再支援使用 MySQL 資料庫。所以此次搭建使用的資料庫是 PostgreSQL 11.4 版本。

CentOS 6.4 下搭建 MongoDB 2.4.9 環境

2019獨角獸企業重金招聘Python工程師標準>>> 一、下載MongoDB2.4.9版 下載MongoDBwgethttp://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.9.tgz

centos7環境下配置kafka_2.12-2.6.0+zookeeper-3.4.14環境

centos7環境下配置kafka_2.12-2.6.0+zookeeper-3.4.14環境因為kafka比較穩定，考慮到伺服器資源不足，單機版kafka即可滿足業務需求kafka依賴zookeeper，需要先部署zookeeper準備工作：新增啟動kafka和zookeeper的使用

大資料運維（45）zookeeper 3.4叢集搭建

安裝zookeeper之前先安裝java： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 tar-xfjdk-8u231-linux-x64.tar.gz-C/usr/local/

CentOs7.3 搭建 Redis-4.0.1 單機服務

CentOs7.3 搭建 Redis-4.0.1 單機服務 Redis 簡介 Redis 是完全開源免費的，遵守BSD協議，是一個高效能的key-value資料庫。

CentOS7.2 安裝 MongoDB 3.4的教程

伺服器版本 CentOS7.2 MongoDB版本 3.4 1/ 下載所需資源 阿里映象地址 http://mirrors.aliyun.com/mongodb/yum/redhat/7/mongodb-org/3.4/x86_64/RPMS/

Linux下的zookeeper叢集搭建（3節點）

1. 環境安裝 主機名稱 IP zookeeper1 192.168.21.66 zookeeper2 192.168.21.57 zookeeper3 192.168.21.17 2.準備zookeeper

真真好喝：菲諾椰汁3元/袋大促（商超4.9元/袋）

菲諾旗艦店 椰汁 180ml*10袋報價44.8元，限時限量15元券，實付29.8元包郵，領券併購買。

Hadoop從零開始搭建史上最完整版-【3】在vm上安裝Centos7，搭建Linux系統

前期準備： 1.保證自己電腦上有安裝Vm,如果沒有安裝，請看這個： 在Windows上安裝Vmware與啟用 2.保證自己的電腦已經在BIOS裡是開啟了虛擬化支援，一般電腦都是預設開啟的，因此暫可忽略，直接進入下面的操

Centos7安裝Zookeeper 3.5.5步驟

1、下載zookeeper安裝包 進入zookeeper官網選擇下載連結如下：https://www-eu.apache.org/dist/zookeeper/

fedora rk3399 gcc 4.9.3

1. 下載 gcc 4.9.3 的原始碼。 http://ftp.gnu.org/gnu/gcc/gcc-4.9.3/ 或者國內的交大 https://mirrors.sjtug.sjtu.edu.cn/gnu/gcc/gcc-4.9.3/

CentOS7 離線升級gcc到8.3.0解決‘GLIBCXX_3.4.21‘not found

技術標籤：目標檢測深度學習 在安裝yolov5的過程中，訓練時需要’GLIBCXX_3.4.21’，這是gcc版本較低造成的，需要將自帶的4.8.5升級，記錄一下本人親測的升級步驟。

【程式碼題python】：一個列表[1,2,5,3,2,5,7,8,9,11,2,33,44,51,4,7,9],請去除重複數字並輸出去除後新的列表

技術標籤：pythonpython 題目 一個列表[1,2,5,3,2,5,7,8,9,11,2,33,44,51,4,7,9],請去除重複數字並輸出去除後新的列表 程式碼

樹莓派4B 搭建 Pytorch1.3.0 + TorchVision0.4.1

技術標籤：軟體安裝教程PythonOS Raspberry Pi 4 Model B (8G RAM Version) Python3.7 Architecture: ARM7l