2. 程式人生 > 實用技巧 >使用docker-compose建立主從模式 Redis叢集

使用docker-compose建立主從模式 Redis叢集

阿新 • • 發佈：2020-09-10

使用docker-compose建立主從模式 Redis叢集

原文連結
版本資訊：5.0.6

一、目錄結構如下

  • 建立一個redis_master_slave資料夾，用於存放redis叢集的配置檔案
  • 這裡我對每個節點又單獨建立了master、slave1、slave2資料夾，也可以不建立

1.1 docker-compose.yaml內容

1.1.1 master節點的docker-compose.yaml

version: '3'

services:
  redis:
    image: redis:latest
    container_name: redis
    restart: always
    ports:
      - 6379:6379
    networks:
      mynetwork:
        ipv4_address: 172.19.0.10
    volumes:
      - ./redis.conf:/usr/local/etc/redis/redis.conf:rw
      - ./data:/data:rw
    command:
      /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf "
networks:
  mynetwork:
    external: true

slave1節點、slave2節點的不同點在於 IP和埠對映不一樣。

1.1.2 slave1節點的docker-compose.yaml

version: '3'

services:
  redis:
    image: redis:latest
    container_name: redis_slave1
    restart: always
    ports:
      - 6380:6379
    networks:
      mynetwork:
        ipv4_address: 172.19.0.11
    volumes:
      - ./redis.conf:/usr/local/etc/redis/redis.conf:rw
      - ./data:/data:rw
    command:
      /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf "
networks:
  mynetwork:
    external: true

1.1.3 slave2節點的docker-compose.yaml

version: '3'

services:
  redis:
    image: redis:latest
    container_name: redis_slave2
    restart: always
    ports:
      - 6381:6379
    networks:
      mynetwork:
        ipv4_address: 172.19.0.12
    volumes:
      - ./redis.conf:/usr/local/etc/redis/redis.conf:rw
      - ./data:/data:rw
    command:
      /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf "
networks:
  mynetwork:
    external: true

1.2 redis.conf內容

1.2.1 master節點的redis.conf

bind 0.0.0.0
protected-mode no
port 6379
timeout 0
save 900 1 # 900s內至少一次寫操作則執行bgsave進行RDB持久化
save 300 10
save 60 10000
rdbcompression yes
dbfilename dump.rdb
dir /data
appendonly yes
appendfsync everysec
requirepass 12345678

1.2.2 slave1節點的redis.conf

bind 0.0.0.0
protected-mode no
port 6379
timeout 0
save 900 1 # 900s內至少一次寫操作則執行bgsave進行RDB持久化
save 300 10
save 60 10000
rdbcompression yes
dbfilename dump.rdb
dir /data
appendonly yes
appendfsync everysec
requirepass 12345678

slaveof 172.19.0.10 6379
masterauth 12345678

1.2.3 slave2節點的redis.conf

bind 0.0.0.0
protected-mode no
port 6379
timeout 0
save 900 1 # 900s內至少一次寫操作則執行bgsave進行RDB持久化
save 300 10
save 60 10000
rdbcompression yes
dbfilename dump.rdb
dir /data
appendonly yes
appendfsync everysec
requirepass 12345678

slaveof 172.19.0.10 6379
masterauth 12345678

二、啟動節點服務

依次啟動各個節點服務，當slave節點啟動的時候，會自動連線master節點，同時master節點也會顯示連線日誌。

2.1 master節點日誌

Creating redis ... done
Attaching to redis
redis    | 1:C 06 Sep 2020 01:05:44.001 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
redis    | 1:C 06 Sep 2020 01:05:44.001 # Redis version=5.0.6, bits=64, commit=00000000, modified=0, pid=1, just started
redis    | 1:C 06 Sep 2020 01:05:44.001 # Configuration loaded
redis    | 1:M 06 Sep 2020 01:05:44.005 * Running mode=standalone, port=6379.
redis    | 1:M 06 Sep 2020 01:05:44.005 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
redis    | 1:M 06 Sep 2020 01:05:44.005 # Server initialized
redis    | 1:M 06 Sep 2020 01:05:44.005 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.
redis    | 1:M 06 Sep 2020 01:05:44.008 * Ready to accept connections
redis    | 1:M 06 Sep 2020 01:06:30.505 * Replica 172.19.0.11:6380 asks for synchronization
redis    | 1:M 06 Sep 2020 01:06:30.505 * Full resync requested by replica 172.19.0.11:6380
redis    | 1:M 06 Sep 2020 01:06:30.505 * Starting BGSAVE for SYNC with target: disk
redis    | 1:M 06 Sep 2020 01:06:30.506 * Background saving started by pid 10
redis    | 10:C 06 Sep 2020 01:06:30.521 * DB saved on disk
redis    | 10:C 06 Sep 2020 01:06:30.527 * RDB: 0 MB of memory used by copy-on-write
redis    | 1:M 06 Sep 2020 01:06:30.582 * Background saving terminated with success
redis    | 1:M 06 Sep 2020 01:06:30.589 * Synchronization with replica 172.19.0.11:6380 succeeded
redis    | 1:M 06 Sep 2020 01:07:53.029 * Replica 172.19.0.12:6381 asks for synchronization
redis    | 1:M 06 Sep 2020 01:07:53.029 * Full resync requested by replica 172.19.0.12:6381
redis    | 1:M 06 Sep 2020 01:07:53.029 * Starting BGSAVE for SYNC with target: disk
redis    | 1:M 06 Sep 2020 01:07:53.030 * Background saving started by pid 11
redis    | 11:C 06 Sep 2020 01:07:53.040 * DB saved on disk
redis    | 11:C 06 Sep 2020 01:07:53.041 * RDB: 0 MB of memory used by copy-on-write
redis    | 1:M 06 Sep 2020 01:07:53.057 * Background saving terminated with success
redis    | 1:M 06 Sep 2020 01:07:53.063 * Synchronization with replica 172.19.0.12:6381 succeeded
  • master節點啟動後，等待接收連線
  • 收到副本 172.19.0.11:6380 的同步請求
  • 和172.19.0.11:6380進行同步
  • 收到副本 172.19.0.12:6381 的同步請求
  • 和172.19.0.12:6381進行同步

2.2 slave1節點日誌

Creating redis_slave1 ... done
Attaching to redis_slave1
redis_slave1 | 1:C 06 Sep 2020 01:18:21.869 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
redis_slave1 | 1:C 06 Sep 2020 01:18:21.869 # Redis version=5.0.6, bits=64, commit=00000000, modified=0, pid=1, just started
redis_slave1 | 1:C 06 Sep 2020 01:18:21.869 # Configuration loaded
redis_slave1 | 1:S 06 Sep 2020 01:18:21.872 * Running mode=standalone, port=6379.
redis_slave1 | 1:S 06 Sep 2020 01:18:21.872 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
redis_slave1 | 1:S 06 Sep 2020 01:18:21.873 # Server initialized
redis_slave1 | 1:S 06 Sep 2020 01:18:21.873 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.
redis_slave1 | 1:S 06 Sep 2020 01:18:21.878 * Reading RDB preamble from AOF file...
redis_slave1 | 1:S 06 Sep 2020 01:18:21.879 * Reading the remaining AOF tail...
redis_slave1 | 1:S 06 Sep 2020 01:18:21.881 * DB loaded from append only file: 0.009 seconds
redis_slave1 | 1:S 06 Sep 2020 01:18:21.881 * Ready to accept connections
redis_slave1 | 1:S 06 Sep 2020 01:18:21.881 * Connecting to MASTER 172.19.0.10:6379
redis_slave1 | 1:S 06 Sep 2020 01:18:21.882 * MASTER <-> REPLICA sync started
redis_slave1 | 1:S 06 Sep 2020 01:18:21.882 * Non blocking connect for SYNC fired the event.
redis_slave1 | 1:S 06 Sep 2020 01:18:21.882 * Master replied to PING, replication can continue...
redis_slave1 | 1:S 06 Sep 2020 01:18:21.884 * Partial resynchronization not possible (no cached master)
redis_slave1 | 1:S 06 Sep 2020 01:18:21.886 * Full resync from master: 83cf8d4614610468aa53c43c553ca46a26c1e3be:924
redis_slave1 | 1:S 06 Sep 2020 01:18:21.976 * MASTER <-> REPLICA sync: receiving 176 bytes from master
redis_slave1 | 1:S 06 Sep 2020 01:18:21.981 * MASTER <-> REPLICA sync: Flushing old data
redis_slave1 | 1:S 06 Sep 2020 01:18:21.982 * MASTER <-> REPLICA sync: Loading DB in memory
redis_slave1 | 1:S 06 Sep 2020 01:18:21.986 * MASTER <-> REPLICA sync: Finished with success
redis_slave1 | 1:S 06 Sep 2020 01:18:21.988 * Background append only file rewriting started by pid 10
redis_slave1 | 1:S 06 Sep 2020 01:18:22.020 * AOF rewrite child asks to stop sending diffs.
redis_slave1 | 10:C 06 Sep 2020 01:18:22.020 * Parent agreed to stop sending diffs. Finalizing AOF...
redis_slave1 | 10:C 06 Sep 2020 01:18:22.020 * Concatenating 0.00 MB of AOF diff received from parent.
redis_slave1 | 10:C 06 Sep 2020 01:18:22.023 * SYNC append only file rewrite performed
redis_slave1 | 10:C 06 Sep 2020 01:18:22.024 * AOF rewrite: 0 MB of memory used by copy-on-write
redis_slave1 | 1:S 06 Sep 2020 01:18:22.088 * Background AOF rewrite terminated with success
redis_slave1 | 1:S 06 Sep 2020 01:18:22.097 * Residual parent diff successfully flushed to the rewritten AOF (0.00 MB)
redis_slave1 | 1:S 06 Sep 2020 01:18:22.109 * Background AOF rewrite finished successfully

2.3 slave2節點日誌

Creating redis_slave2 ... done
Attaching to redis_slave2
redis_slave2 | 1:C 06 Sep 2020 01:18:51.630 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
redis_slave2 | 1:C 06 Sep 2020 01:18:51.630 # Redis version=5.0.6, bits=64, commit=00000000, modified=0, pid=1, just started
redis_slave2 | 1:C 06 Sep 2020 01:18:51.630 # Configuration loaded
redis_slave2 | 1:S 06 Sep 2020 01:18:51.636 * Running mode=standalone, port=6379.
redis_slave2 | 1:S 06 Sep 2020 01:18:51.637 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
redis_slave2 | 1:S 06 Sep 2020 01:18:51.637 # Server initialized
redis_slave2 | 1:S 06 Sep 2020 01:18:51.638 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.
redis_slave2 | 1:S 06 Sep 2020 01:18:51.651 * Reading RDB preamble from AOF file...
redis_slave2 | 1:S 06 Sep 2020 01:18:51.653 * Reading the remaining AOF tail...
redis_slave2 | 1:S 06 Sep 2020 01:18:51.657 * DB loaded from append only file: 0.019 seconds
redis_slave2 | 1:S 06 Sep 2020 01:18:51.657 * Ready to accept connections
redis_slave2 | 1:S 06 Sep 2020 01:18:51.657 * Connecting to MASTER 172.19.0.10:6379
redis_slave2 | 1:S 06 Sep 2020 01:18:51.658 * MASTER <-> REPLICA sync started
redis_slave2 | 1:S 06 Sep 2020 01:18:51.658 * Non blocking connect for SYNC fired the event.
redis_slave2 | 1:S 06 Sep 2020 01:18:51.659 * Master replied to PING, replication can continue...
redis_slave2 | 1:S 06 Sep 2020 01:18:51.661 * Partial resynchronization not possible (no cached master)
redis_slave2 | 1:S 06 Sep 2020 01:18:51.664 * Full resync from master: 83cf8d4614610468aa53c43c553ca46a26c1e3be:966
redis_slave2 | 1:S 06 Sep 2020 01:18:51.717 * MASTER <-> REPLICA sync: receiving 176 bytes from master
redis_slave2 | 1:S 06 Sep 2020 01:18:51.730 * MASTER <-> REPLICA sync: Flushing old data
redis_slave2 | 1:S 06 Sep 2020 01:18:51.731 * MASTER <-> REPLICA sync: Loading DB in memory
redis_slave2 | 1:S 06 Sep 2020 01:18:51.739 * MASTER <-> REPLICA sync: Finished with success
redis_slave2 | 1:S 06 Sep 2020 01:18:51.747 * Background append only file rewriting started by pid 11
redis_slave2 | 1:S 06 Sep 2020 01:18:51.782 * AOF rewrite child asks to stop sending diffs.
redis_slave2 | 11:C 06 Sep 2020 01:18:51.782 * Parent agreed to stop sending diffs. Finalizing AOF...
redis_slave2 | 11:C 06 Sep 2020 01:18:51.782 * Concatenating 0.00 MB of AOF diff received from parent.
redis_slave2 | 11:C 06 Sep 2020 01:18:51.786 * SYNC append only file rewrite performed
redis_slave2 | 11:C 06 Sep 2020 01:18:51.786 * AOF rewrite: 0 MB of memory used by copy-on-write
redis_slave2 | 1:S 06 Sep 2020 01:18:51.859 * Background AOF rewrite terminated with success
redis_slave2 | 1:S 06 Sep 2020 01:18:51.861 * Residual parent diff successfully flushed to the rewritten AOF (0.00 MB)
redis_slave2 | 1:S 06 Sep 2020 01:18:51.864 * Background AOF rewrite finished successfully

三、測試

這裡以RDM工具作為redis連線的客戶端，分別連線redis的三個例項。

在master上輸入 set name zhangsan，在slave1中通過 get name 可以檢視

四、原理

主從的原理是比較簡單的，一主多從，主資料庫可以讀也可以寫，從資料庫僅讀。

但是，主從模式一般實現讀寫分離，主資料庫僅寫，減輕主資料庫的壓力。原理圖如下：

下面是工作機制：

  1. 當slave啟動後會向master傳送SYNC命令，master節點收到從資料庫的命令後通過bgsave儲存快照（rdb持久化），並且從此時起執行的命令會被快取起來。
  2. master會將儲存的快照發送給slave，並且繼續快取期間的寫命令。
  3. slave收到主資料庫傳送過來的快照就會載入到自己的資料中。
  4. 最後master將快取的命令同步給slave，slave收到命令後執行一遍，這樣master與slave資料就保持一致了。

五、優缺點

5.1 優點

  1. 之所以運用主從複製，是因為主從一定程度上解決了單機版併發量大，導致親求延遲或者redis宕機服務停止的問題
  2. 從資料庫分擔主資料庫的讀壓力，若是主資料庫只是寫模式，那麼實現讀寫分離，主資料庫就沒有讀壓力了
  3. 另一方面解決了單機版單點故障的問題，若是主資料庫掛了，那麼從資料庫可以隨時頂上來

綜上來說，主從模式一定程度上提高了系統的可用性和效能，是實現哨兵和叢集的基礎。主從同步是以非同步方式進行同步，期間redis仍然可以響應客戶端提交的查詢和更新的請求。

5.2缺點

主從模式好是好，但是也有自己的缺點。

  1. 比如資料的一致性問題，假如主資料庫寫操作完成，那麼他的資料會被複制到從資料庫，若是還沒有及時複製到從資料庫，讀請求又來了，此時讀取的資料就不是最新的資料。
  2. 若是主從同步的過程網路出故障了，導致主從同步失敗，也會出現資料一致性的問題
  3. 主從模式不具備自動容錯和恢復的功能，一旦主資料庫掛掉，從節點晉升為主資料庫的過程需要人為操作，維護的成本就會升高，並且主節點的寫能力，儲存能力都會受到限制。

到此結束。

相關推薦

使用docker-compose建立主從模式 Redis叢集

使用docker-compose建立主從模式 Redis叢集 原文連結 版本資訊：5.0.6 一、目錄結構如下

使用docker-compose建立Cluster模式 redis叢集

使用docker-compose建立Cluster模式 redis叢集 版本資訊：5.0.6 參考連結 Cluster是真正的叢集模式了，哨兵模式解決了主從模式不能自動故障恢復的問題，但是同時也存在難以擴容以及單機儲存、讀寫能力受限的問題，並

使用docker-compose建立哨兵模式 Redis叢集

使用docker-compose建立哨兵模式 Redis叢集 版本資訊：5.0.6 我們已經知道在主從模式下，如果master伺服器掛掉了，那麼叢集是不能自動容錯和恢復的，需要人工處理。而且在此期間無法寫資料。為了解決這個問題我們就需

使用docker-compose建立Redis

使用docker-compose建立Redis 版本資訊：5.0.6 一、目錄結構如下 1.1 docker-compose.yaml version: \'3\'

mongodb docker-compose 搭建主從 3 個節點叢集

mongodb docker-compose 搭建主從 3 個節點 1 生成keyFile 1 command執行命令時需要指定 --keyFile跟 --replSet兩個屬性。

Docker-Compose搭建高可用redis哨兵叢集

docker network create --subnet=172.10.0.0/24 docker-network 主mkdir -p /data/docker/redis/master & vim /data/docker/redis/master/docker-compose.yml

Docker-compose 安裝單機版redis

1、如果沒有下載redis 映象，在執行docker-compose 指令碼時則會自動拉取指定映象

docker compose跨主機部署consul叢集/單機

簡單明瞭 直接開幹 。 原理百度下 #此次部署 雙客戶端 三服務端 一、確定伺服器資訊 有無相關埠衝突 。docker服務是否存在

重新認識Docker Compose之Sidecar模式

什麼是Docker Compose 在微服務盛行的今天，我們通常是這麼定義Compose的：對容器的統一啟動和關閉的編排工具。

docker-compose建立lnmp環境

version: \"3.8\" services: nginx: container_name: \"nginx\" image: nginx:latest #重啟策略: #no,預設策略，在容器退出時，不重啟容器；

docker 多機分散式安裝redis叢集

分散式安裝redis叢集 序號 主機 1 192.168.1.10 2 192.168.1.11 3 192.168.1.12 共搭建六個節點，每臺主機一主一從

docker部署redis叢集主從模式

以6臺服務組建三主三從的叢集 1、建立redis容器 docker create --name redis-node1 --net host -v /data/redis-data/node1:/data redis:6.0.16 --cluster-enabled yes --cluster-config-file nodes-node-1.conf --

rancher2+docker+SpringCloud+jenkins+redis叢集+mysql主從搭建：九、spring config 建立dockerfile並執行

類似spring eureka：在spring-config專案main目錄下建立dockerfilevim /root/111/gitee_cangku/rancher_springcloud/spring-base/spring-config/src/main/docker/Dockerfile

docker-compose搭建redis叢集--Cluster模式

version: \'3.8\' services: redis-node-master-1: image: redis:5.0.14 container_name: cluster-redis-1 ports:

docker-compose部署Redis哨兵模式叢集

由於服務中根據業務不同使用了redis的多個數據庫db0-db15，redis cluster叢集只有db0，其他庫不顯示，無法使用，於是選擇了Redis哨兵模式叢集。

docker-compose搭建redis叢集及可用性實踐

叢集搭建概述 redis一般需要6個節點才能組成完整的高可用叢集，這裡我們使用docker-compose來快速搭建叢集。

用Docker搭建Redis主從複製的叢集

在主從複製模式的叢集裡，主節點一般是一個，從節點一般是兩個或多個，寫入主節點的資料會被複制到從節點上，這樣一旦主節點出現故障，應用系統能切換到從節點去讀寫資料，這樣能提升系統的可用性。而且如果再採用主

使用Docker搭建Redis主從複製的叢集

在主從複製模式的叢集裡，主節點一般是一個，從節點一般是兩個或多個，寫入主節點的資料會被複制到從節點上，這樣一旦主節點出現故障，應用系統能切換到從節點去讀寫資料，這樣能提升系統的可用性。而且如果再採用主

redis 4 主從，哨兵 叢集模式

一、主從複製 通過持久化功能，Redis保證了即使在伺服器重啟的情況下也不會損失（或少量損失）資料，因為持久化會把記憶體中資料儲存到硬碟上，重啟會從硬碟上載入資料。。但是由於資料是儲存在一臺伺服器上的，如果

Redis主從模式、哨兵模式和叢集的相關操作

1、主從模式 （1）特點 有且僅有一個主節點Master，從節點slave可以有 主節點master可讀可寫，從節點slave只能讀；主節點將讀的操作交給了從節點，變向的提高了自己寫的能力