2. 程式人生 > >Redis 官方集群

Redis 官方集群

阿新 • • 發佈：2018-01-20
客戶 pos mys replicate rate eset roo orm nts

Redis Cluster

官方文檔節選

文檔地址

1.automatically sharded

  • The ability to automatically split your dataset among multiple nodes.
  • The ability to continue operations when a subset of the nodes are experiencing failures or are unable to communicate with the rest of the cluster.

Redis Cluster集群是以分布式運行支持高達1000個節點,會將數據自動進行分割存儲在集群中的不同節點.除非是大部分的master節點宕機或不可訪問.

2.TCP ports

  • The normal client communication port (usually 6379) used to communicate with clients to be open to all the clients that need to reach the cluster, plus all the other cluster nodes (that use the client port for keys migrations).
  • The cluster bus port (the client port + 10000) must be reachable from all the other cluster nodes.

Redis Cluster集群服務使用了兩種TCP端口,會監聽一個普通端口和總線端口(bus port英語沒過級不知道怎麽翻譯好.),普通端口和其它模式下的6379端口一樣,用於客戶端與集群中節點交互.集群中的總線端口是用於集群節點之間故障檢測,配置更新,授權等等,如果總線端口不能通信集群也就不能連接到這個節點.總線端口總是固定在普通端口基礎上偏移10000.

3.Hash slot

Redis Cluster集群沒有使用一致性hash,而是使用的hash slot(哈希槽).每個集群總共有16384個哈希槽,集群會根據節點的數量分配給每個主節點一個哈希槽子集(即一部分哈希槽).因此可以動態增加和刪除節點,只需要重新分配哈希槽.同時啟用了一個稱為hash tags的概念,因此集群模式下只能使用database 0.(hash tags不懂...)

4.master-slave model

Redis Cluster集群也支持主從模式,必須保證主節點必須要有對應的一個或多個從節點,在主節點不能訪問的時候,其中一個從節點會提升為主節點.否則集群在主節點宕機後將無法工作.

5.consistency guarantees

Redis Cluster不能保證節點間良好的一致性,所以在某些極端情況下會出現數據不一致的情況.因為主從之間使用的異步寫入,並且不會等待確認返回.如果需要使用同步寫入的話可以使用WAIT命令.即使是同步寫入也有不能寫入的從節點被提升為主節點造成的寫入失敗的情況發生.(官方舉的這個例子和我遇到的一次mysql主備切換造成binlog丟失的情況很像,有一次生產環境的mysql主庫使用率100%持續很久,造成切換備用節點.然後這些數據只能在被切的那個機器上找到.其它的備庫,從庫通通沒有binlog日誌.)

集群配置

1.集群安裝配置

#Redis Cluster集群管理工具
yum install redis-trib -y
#gem install redis
  • 創建配置文件及配置參數
  • cluster-enabled <yes/no>: #集群是否啟用
  • cluster-config-file
  • cluster-node-timeout
  • cluster-slave-validity-factor
  • cluster-migration-barrier
  • cluster-require-full-coverage <yes/no>: #節點通信密鑰相關
  • 配置節點實例
mkdir /etc/redis.d/700{1,2,3,4,5,6} -p
echo /etc/redis.d/700{1,2,3,4,5,6} |xargs -n 1 cp -v /etc/redis.conf
#將每個節點的端口和cluster-conifg-file修改為不同
port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
redis-server /etc/redis.d/7001/redis.conf
...
redis-server /etc/redis.d/7006/redis.conf
  • 創建集群

執行創建集群的命令create ,replicas 1表示每個主節點分配一個從節點

[root@localhost ~]# redis-trib create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006

2.增加和刪除節點

  • 增加節點

查看節點信息

redis-cli -p 30001 cluster nodes
a2e26df91d65847a17f4172b0b61f840b0948c56 127.0.0.1:30003@40003 master - 0 1516419900548 3 connected 10923-16383
...

啟動實例主節點30007.從節點30008,

redis-server --port 30007 --cluster-enabled yes --cluster-config-file nodes-30007.conf --cluster-node-timeout 2000 --appendonly yes --appendfilename appendonly-30007.aof --dbfilename dump-30007.rdb --logfile 30007.log --daemonize yes
...

加入集群

redis-trib add-node 127.0.0.1:30007 127.0.0.1:30001
redis-trib  add-node --slave --master-id d0617fb34ef85de4e414b62c4a82f8b3e0aa2e1f 127.0.0.1:30008 127.0.0.1:30001

查看節點信息,此時新加入的節點沒有分配hash slot所以是一個空節點並不參入集群的工作

redis-cli -c -p 30001 cluster nodes
...
65537824bef847f3f199f9b076a928d860f00c7a 127.0.0.1:30008@40008 slave d0617fb34ef85de4e414b62c4a82f8b3e0aa2e1f 0 1516423427008 0 connected
d0617fb34ef85de4e414b62c4a82f8b3e0aa2e1f 127.0.0.1:30007@40007 master - 0 1516421726020 0 connected
...

reshared重新分配hash slot

redis-trib reshard 127.0.0.1:30001 --slots 4096 --from all --to d0617fb34ef85de4e414b62c4a82f8b3e0aa2e1f --yes 127.0.0.1:30001
redis-cli -c -p 30001 cluster nodes
...
d0617fb34ef85de4e414b62c4a82f8b3e0aa2e1f 127.0.0.1:30007@40007 master - 0 1516423765000 8 connected 0-1364 5461-6826 10923-12287
#此時可以看到30007的slots是從其它三個主節點上平均分配了過來

故障測試,從節點會自動提升為主機點

redis-cli -p 30007 debug segfault
redis-cli -c -p 30001 cluster nodes
...
65537824bef847f3f199f9b076a928d860f00c7a 127.0.0.1:30008@40008 master - 0 1516424352174 9 connected 0-1364 5461-6826 10923-12287
d0617fb34ef85de4e414b62c4a82f8b3e0aa2e1f 127.0.0.1:30007@40007 master,fail - 1516424346060 1516424345046 8 disconnected
...
# 在重啟故障節點後,30007會自動加入為30008的從節點

刪除節點

redis-trib reshard 127.0.0.1:30001 --slots 4096 --from 65537824bef847f3f199f9b076a928d860f00c7a --to 3dda66a50f8b1f4601a94be6b7e110c04501017d --yes
redis-trib info 127.0.0.1:30007
127.0.0.1:30008@40008 (65537824...) -> 0 keys | 0 slots | 0 slaves.
127.0.0.1:30002@40002 (3dda66a5...) -> 98 keys | 8192 slots | 2 slaves
...
#此時30008的從節點也會自動歸屬到新的主節點上去
redis-trib del-node 127.0.0.1:30001 65537824bef847f3f199f9b076a928d860f00c7a

重新平衡slots

redis-trib rebalance --auto-weights 127.0.0.1:30001
redis-trib info 127.0.0.1:30001
127.0.0.1:30001 (09a3e281...) -> 68 keys | 5462 slots | 1 slaves.
127.0.0.1:30003@40003 (a2e26df9...) -> 67 keys | 5461 slots | 1 slaves.
127.0.0.1:30002@40002 (3dda66a5...) -> 63 keys | 5461 slots | 2 slaves.

集群遷移

做集群遷移的時候官方已經提供了很多意見.

1. Stop your clients. No automatic live-migration to Redis Cluster is currently possible. You may be able to do it orchestrating a live migration in the context of your application / environment.

2. Generate an append only file for all of your N masters using the BGREWRITEAOF command, and waiting for the AOF file to be completely generated.

3. Save your AOF files from aof-1 to aof-N somewhere. At this point you can stop your old instances if you wish (this is useful since in non-virtualized deployments you often need to reuse the same computers).

4. Create a Redis Cluster composed of N masters and zero slaves. You‘ll add slaves later. Make sure all your nodes are using the append only file for persistence.

5. Stop all the cluster nodes, substitute their append only file with your pre-existing append only files, aof-1 for the first node, aof-2 for the second node, up to aof-N.

6. Restart your Redis Cluster nodes with the new AOF files. They‘ll complain that there are keys that should not be there according to their configuration.

7. Use redis-trib fix command in order to fix the cluster so that keys will be migrated according to the hash slots each node is authoritative or not.

8. Use redis-trib check at the end to make sure your cluster is ok.

9. Restart your clients modified to use a Redis Cluster aware client library.

1.保存aof文件並復制.

redis-trib call 127.0.0.1:30001 BGREWRITEAOF
mkdir /opt/redis-test

...

2.啟動新的集群節點.

#修改腳本
vi redis-cluster.sh
PORT=10000
TIMEOUT=2000
NODES=3
REPLICAS=0
...
./redis-cluster.sh start
....

3.使用redis-cli配置集群(使用redis的原生命令)

分配slots

redis-cli -c -p 10001 cluster addslots {0..5460}
redis-cli -c -p 10002 cluster addslots {5461..10922}
redis-cli -c -p 10003 cluster addslots {10922..16383}

設置epoch

redis-cli -c -p 10001 cluster set-config-epoch 1
redis-cli -c -p 10002 cluster set-config-epoch 2
redis-cli -c -p 10003 cluster set-config-epoch 3

加入集群

redis-cli -c -p 10003 cluster meet 127.0.0.1 10001
redis-cli -c -p 10003 cluster meet 127.0.0.1 10002
redis-trib check 127.0.0.1:10001
>>> Performing Cluster Check (using node 127.0.0.1:10001)
M: d5a115418f657f4b25229af38b5b88036c90b3b4 127.0.0.1:10001
   slots:0-5460 (5461 slots) master
   0 additional replica(s)

4.復制aof文件

./redis-cluster.sh stop
cp ~/appendonly-30001.aof ./appendonly-10001.aof
...
./redis-cluster.sh start

5.修復集群

redis-trib fix 127.0.0.1:10001
redis-trib check 127.0.0.1:10001

6.查看數據

redis-test]# redis-cli -c -p 10001
127.0.0.1:10001> keys *
 1) "foo96"
 2) "foo56"
 3) "foo67"

集群管理工具命令參數

1.redis-trib子命令

  create          host1:port1 ... hostN:portN  #創建集群
                  --replicas <arg>  #表示每個主節點的從節點數量
  check           host:port         #檢查節點
  info            host:port         #輸出主節點信息 keys,slots,slaves
  fix             host:port         #修復集群,比較遷移後配置問題
                  --timeout <arg>
  reshard         host:port         #分配slots
                  --from <arg>      #源節點
                  --to <arg>        #目標節點
                  --slots <arg>     #slots數量
                  --yes             #不使用交互模式
                  --timeout <arg>   
                  --pipeline <arg>  #定義每次cluster getkeysinslot取值,默認10
  rebalance       host:port         #平衡slots    
                  --weight <arg>    #節點權重,多個節點指定多個
                  --auto-weights    #自動分配權重
                  --use-empty-masters   #是否啟用空節點參與
                  --timeout <arg>
                  --simulate        #模擬操作
                  --pipeline <arg>
                  --threshold <arg> #設置slots平衡算法參數
  add-node        new_host:new_port existing_host:existing_port
                  --slave           #新節點為從節點
                  --master-id <arg> #做為從節點復制的主節點ID
  del-node        host:port node_id
  set-timeout     host:port milliseconds
  call            host:port command arg arg .. arg  #執行redis-cli命令
  import          host:port         #導入數據
                  --from <arg>
                  --copy
                  --replace
  help            (show this help)

2.redis原生集群命令

cluster info                    #打印集群的信息
cluster nodes                   #列出集群當前已知的所有節點(node)，以及這些節點的相關信息   
節點(node)  
cluster meet <ip> <port>        #將ip和port所指定的節點添加到集群當中，讓它成為集群的一份子  
cluster forget <node_id>        #從集群中移除node_id指定的節點
cluster replicate <node_id>     #將當前節點設置為node_id指定的節點的從節點
cluster saveconfig              #將節點的配置文件保存到硬盤裏面
cluster slaves <node_id>        #列出該slave節點的master節點
cluster set-config-epoch        #強制設置configEpoch

槽(slot)

cluster addslots <slot> [slot ...]               #將一個或多個槽(slot)指派(assign)給當前節點
cluster delslots <slot> [slot ...]               #移除一個或多個槽對當前節點的指派 
cluster flushslots                               #移除指派給當前節點的所有槽，讓當前節點變成一個沒有指派任何槽的節點 
cluster setslot <slot> node <node_id>            #將槽slot指派給node_id指定的節點，如果槽已經指派給另一個節點，那麽先讓另一個節點刪除該槽，然後再進行指派 
cluster setslot <slot> migrating <node_id>       #將本節點的槽slot遷移到node_id指定的節點中  
cluster setslot <slot> importing <node_id>       #從node_id 指定的節點中導入槽slot到本節點 
cluster setslot <slot> stable                    #取消對槽slot的導入(import)或者遷移(migrate)

鍵(key)

cluster keyslot <key>                            #計算鍵key應該被放置在哪個槽上  
cluster countkeysinslot <slot>                   #返回槽slot目前包含的鍵值對數量 
cluster getkeysinslot <slot> <count>             #返回count個slot槽中的鍵

其它

cluster myid                   #返回節點的ID
cluster slots                  #返回節點負責的slot
cluster reset                  #重置集群，慎用

3.啟動腳本

#!/bin/bash

# Settings
PORT=30000
TIMEOUT=2000
NODES=6
REPLICAS=1

# You may want to put the above config parameters into config.sh in order to
# override the defaults without modifying this script.

if [ -a config.sh ]
then
    source "config.sh"
fi

# Computed vars
ENDPORT=$((PORT+NODES))

if [ "$1" == "start" ]
then
    while [ $((PORT < ENDPORT)) != "0" ]; do
        PORT=$((PORT+1))
        echo "Starting $PORT"
        redis-server --port $PORT --cluster-enabled yes --cluster-config-file nodes-${PORT}.conf --cluster-node-timeout $TIMEOUT --appendonly yes --appendfilename appendonly-${PORT}.aof --dbfilename dump-${PORT}.rdb --logfile ${PORT}.log --daemonize yes
    done
    exit 0
fi

if [ "$1" == "create" ]
then
    HOSTS=""
    while [ $((PORT < ENDPORT)) != "0" ]; do
        PORT=$((PORT+1))
        HOSTS="$HOSTS 127.0.0.1:$PORT"
    done
    redis-trib create --replicas $REPLICAS $HOSTS
    exit 0
fi

if [ "$1" == "stop" ]
then
    while [ $((PORT < ENDPORT)) != "0" ]; do
        PORT=$((PORT+1))
        echo "Stopping $PORT"
        redis-cli -p $PORT shutdown nosave
    done
    exit 0
fi

if [ "$1" == "watch" ]
then
    PORT=$((PORT+1))
    while [ 1 ]; do
        clear
        date
        redis-cli -p $PORT cluster nodes | head -30
        sleep 1
    done
    exit 0
fi

if [ "$1" == "tail" ]
then
    INSTANCE=$2
    PORT=$((PORT+INSTANCE))
    tail -f ${PORT}.log
    exit 0
fi

if [ "$1" == "call" ]
then
    while [ $((PORT < ENDPORT)) != "0" ]; do
        PORT=$((PORT+1))
        redis-cli -p $PORT $2 $3 $4 $5 $6 $7 $8 $9
    done
    exit 0
fi

if [ "$1" == "clean" ]
then
    rm -rf *.log
    rm -rf appendonly*.aof
    rm -rf dump*.rdb
   rm -rf nodes*.conf
    exit 0
fi

if [ "$1" == "clean-logs" ]
then
    rm -rf *.log
    exit 0
fi

echo "Usage: $0 [start|create|stop|watch|tail|clean]"
echo "start       -- Launch Redis Cluster instances."
echo "create      -- Create a cluster using redis-trib create."
echo "stop        -- Stop Redis Cluster instances."
echo "watch       -- Show CLUSTER NODES output (first 30 lines) of first > node."
echo "tail <id>   -- Run tail -f of instance at base port + ID."
echo "clean       -- Remove all instances data, logs, configs."
echo "clean-logs  -- Remove just instances logs."

Redis 官方集群

相關推薦

Redis 官方集群

客戶 pos mys replicate rate eset roo orm nts Redis Cluster 官方文檔節選 文檔地址 1.automatically sharded The ability to automatically split your da

Ubuntu 16.04下Redis Cluster集群搭建（官方原始方案）

選擇 正數 mil 請求 點數據 包含 最終 util 交互 前提：先安裝好Redis，參考：http://www.cnblogs.com/EasonJim/p/7599941.html 說明：Redis Cluster集群模式可以做到動態增加節點和下線節點，使用起來非常

Redis Cluster 官方集群搭建指南

config remove 集群搭建 rep fig nbsp 功能 zxvf redirect 安裝ruby環境因為官方提供的創建集群的工具是用ruby寫的，需要ruby2.2.2+版本支持，ruby安裝需要指定openssl。安裝openssl $ wget http

redis之 集群配置（主從復制）

端口 cnblogs pid 分享 必須 服務器配置 主服務器 一個 cat 集群的作用： 　　 集群的方式有二種： 　　第二種的好處是：master宕機以後可以直接切換到slave1 主從通信的過程 　　先通過dump導出大塊的rdb 然後把aof緩沖過來，然後通過

Redis主從集群的Sentinel配置

redis集群 linux sentinel redis哨兵 首先對三臺機器進行redis的單機安裝，然後進行以下步驟master 192.168.1.102slaver 192.168.1.104slaver 192.168.1.105修改兩個slaver的redis.conf配置文件 添加

redis代理集群（Twemproxy）（1）

配置信息 tom -- entos 視頻 time get 宕機 問題： redis主從+哨兵模式只解決了讀的分布式操作，大大提高了性能；但是寫操作，只有主主機器才能進行，從機器無法進行寫操作。此時，Twemproxy也就出現了。 這個模式單純的安裝有些復雜，需要引入很多的

JFinal redis cluster集群插件

ext 註意 param nal system static private rim spa JFinal redis cluster集群插件 JFinal 框架到了2.1版本號，可是依舊僅僅支持redis的主從集群，沒有看到Cluster集群的插件。筆者

java：redis（redis的集群配置）

升級 hosts keys tor and 建立 pen daemon bsp 服務器集群作用： 　　服務器集群就是指將很多服務器集中起來一起進行同一種服務，在客戶端看來就象是只有一個服務器 集群可以利用多個計算機進行並行計算從而獲得很高的計算速度，也可以用多個計算機做備份

Redis的集群方案之Sentinel（哨兵模式）（待實踐）

tps log csdn mooc 實現 tail net sentinel .net 哨兵模式是主從切換的一種方案，但是可以借助此方案實現集群，達到高可用。 先收集教程，待實踐。 參考： https://redis.io/topics/sentinel（官方文

Redis Cluster集群搭建後，客戶端的連接研究（Spring/Jedis）（待實踐）

turn ron 記錄 redis div println 刪除 clu name 說明：無論是否已經搭建好集群，還是使用什麽樣的客戶端去連接，都是必須把全部IP列表集成進去，然後隨機往其中一個IP寫。 這樣做的好處： 1、隨機IP寫入之後，Redis Cluster代

centos6下redis cluster集群部署過程

pap des .sh gcc con 不兼容 migrating 升級ru messages 一般來說，redis主從和mysql主從目的差不多，但redis主從配置很簡單，主要在從節點配置文件指定主節點ip和端口，比如：slaveof 192.168.10.10 6

Redis Cluster集群總結性梳理

from 等等 skiplist 數據訪問 更新 1.10 都沒有 daemon rst 前面已經介紹了Redis Cluster集群及其部署過程，下面再補充下有關Redis Cluster應用原理部分內容，以便更加深刻透徹地理解Redis Cluster。 一、Red

【case study】兩個redis cluster集群拓撲混掉故障處理

交換 node cluster -i cas 處理過程 基本 背景 相同 【背景】 XXX服務，前後使用了兩個redis cluster集群：集群A（2018.1.23前使用，在1.23之後沒有流量，但是服務沒停），集群B（2018.1.23後使用）。

10、redis哨兵集群高可用

ava 動態 保存 拷貝 rep 工作原理 arraylist AR 虛擬 1 Redis的分片技術 1.1 分片介紹 1.1.1 傳統方式的問題 說明:如果采用單臺redis時,如果redis出現宕機現象.那麽會直接影響我們的整個的服務. 1.1.2 采用分片模式 說明:

redis主從+集群

redis主從接上篇-redis基礎 說明：docker版本：18.03.0-ce   redis版本： redis-4.0.9 4、redis主從配置 1、redis的復制功能是支持多個數據庫之間的數據同步。一類是主數據庫（master）一類是從數據庫（slave），主數據

redis cluster 集群暢談（一）

比較 互連 下標 view bus 單機 strip 瓶頸 由於 redis單機在大數據量情況的會出現瓶頸問題，通過redis 主從架構和 哨兵集群結合可以實現99.99% 高可用 、水平擴容支持更高QPS的解決方案。 在大數據量面前，主從架構結合哨兵集群的解決方案在

redis cluster集群部署

sta 配置 view cat AC ont 相關 介紹 提供服務 上一篇 http://www.cnblogs.com/qinyujie/p/9029153.html，主要講解了 redis cluster 集群架構 的優勢、redis cluster 和 redis

redis cluster 集群暢談（三） 之 水平擴容、slave自動化遷移

fig star init.d 物理 成功 其它 -i .html enabled 　　 上一篇 http://www.cnblogs.com/qinyujie/p/9029522.html， 主要講解 實驗多master寫入、讀寫分離、實驗自動故障切換（高可用性

Redis Cluster集群

ipp 全部 reat location lib .... 版本 錯誤 per 一、redis-cluster設計 Redis集群搭建的方式有多種，例如使用zookeeper等，但從redis 3.0之後版本支持redis-cluster集群，Redis-Cluster采用

redis(8)集群簡介

互聯 nod 解決 一致性 特點 天都 需要 topic 不一致 一、集群 互聯網每天都會產生大量的數據，單實例已經不能滿足需求。但是如果依賴於硬件成本的提升，那就不是所有人能夠負擔的起的。 集群這個時候出現，一定程度上解決了這個問題。它通過互聯網，將多個單實例連接在一起，