2. 程式人生 > >Redis Cluster叢集(Linux設計搭建)

Redis Cluster叢集(Linux設計搭建)

阿新 • • 發佈：2018-12-25

Redis Cluster叢集

一、redis-cluster設計

Redis叢集搭建的方式有多種，例如使用zookeeper等，但從redis 3.0之後版本支援redis-cluster叢集，Redis-Cluster採用無中心結構，每個節點儲存資料和整個叢集狀態,每個節點都和其他所有節點連線。其redis-cluster架構圖如下：

其結構特點：

     1、所有的redis節點彼此互聯(PING-PONG機制),內部使用二進位制協議優化傳輸速度和頻寬。
     2、節點的fail是通過叢集中超過半數的節點檢測失效時才生效。
     3、客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連線叢集所有節點,連線叢集中任何一個可用節點即可。
     4、redis-cluster把所有的物理節點對映到[0-16383]slot上（不一定是平均分配）,cluster 負責維護node<->slot<->value。

     5、Redis叢集預分好16384個桶，當需要在 Redis 叢集中放置一個 key-value 時，根據 CRC16(key) mod 16384的值，決定將一個key放到哪個桶中。

1、redis cluster節點分配

   現在我們是三個主節點分別是：A, B, C 三個節點，它們可以是一臺機器上的三個埠，也可以是三臺不同的伺服器。那麼，採用雜湊槽 (hash slot)的方式來分配16384個slot 的話，它們三個節點分別承擔的slot 區間是：


      節點A覆蓋0－5460;
      節點B覆蓋5461－10922;
      節點C覆蓋10923－16383.

     獲取資料：

      如果存入一個值，按照redis cluster雜湊槽的演算法： CRC16('key')%16384 = 6782。 那麼就會把這個key 的儲存分配到 B 上了。同樣，當我連線(A,B,C)任何一個節點想獲取'key'這個key時，也會這樣的演算法，然後內部跳轉到B節點上獲取資料 

     新增一個主節點：

      新增一個節點D，redis cluster的這種做法是從各個節點的前面各拿取一部分slot到D上，我會在接下來的實踐中實驗。大致就會變成這樣：
  

    節點A覆蓋1365-5460
    節點B覆蓋6827-10922
    節點C覆蓋12288-16383
    節點D覆蓋0-1364,5461-6826,10923-12287


     同樣刪除一個節點也是類似，移動完成後就可以刪除這個節點了。

    2、Redis Cluster主從模式

          redis cluster 為了保證資料的高可用性，加入了主從模式，一個主節點對應一個或多個從節點，主節點提供資料存取，從節點則是從主節點拉取資料備份，當這個主節點掛掉後，就會有這個從節點選取一個來充當主節點，從而保證叢集不會掛掉。

      上面那個例子裡, 叢集有ABC三個主節點, 如果這3個節點都沒有加入從節點，如果B掛掉了，我們就無法訪問整個叢集了。A和C的slot也無法訪問。

     所以我們在叢集建立的時候，一定要為每個主節點都添加了從節點, 比如像這樣, 叢集包含主節點A、B、C, 以及從節點A1、B1、C1, 那麼即使B掛掉系統也可以繼續正確工作。

     B1節點替代了B節點，所以Redis叢集將會選擇B1節點作為新的主節點，叢集將會繼續正確地提供服務。 當B重新開啟後，它就會變成B1的從節點。

    不過需要注意，如果節點B和B1同時掛了，Redis叢集就無法繼續正確地提供服務了。

二、redis叢集的搭建

    叢集中至少應該有奇數個節點，所以至少有三個節點，每個節點至少有一個備份節點，所以下面使用6節點（主節點、備份節點由redis-cluster叢集確定）。

     下面使用redis-3.2.0安裝，下載地址   

     1、安裝redis節點指定埠

         解壓redis壓縮包，編譯安裝

  1. [[email protected] redis-3.2.0]# tar xzf redis-3.2.0.tar.gz  
  2. [[email protected] redis-3.2.0]# cd redis-3.2.0  
  3. [[email protected] redis-3.2.0]# make  
  4. [[email protected] redis01]# make install PREFIX=/usr/andy/redis-cluster  

 在redis-cluster下 修改bin資料夾為redis01,複製redis.conf配置檔案

     配置redis的配置檔案redis.conf

daemonize yes #後臺啟動

        port 7001 #修改埠號，從7001到7006

        cluster-enabled yes #開啟cluster，去掉註釋

        cluster-config-file nodes.conf

        cluster-node-timeout 15000

        appendonly yes

        複製六份，修改對應的埠號

        

   2、安裝redis-trib所需的 ruby指令碼

          複製redis解壓檔案src下的redis-trib.rb檔案到redis-cluster目錄

  1. [[email protected] redis-cluster]# cp /usr/andy/redis/redis-3.2.0/src/redis-trib.rb ./  

   安裝ruby環境：

  1. [[email protected] redis-cluster]# yum install ruby  
  2. [[email protected] redis-cluster]# yum install rubygems  

 安裝redis-trib.rb執行依賴的ruby的包redis-3.2.2.gem，下載

  1. [[email protected] redis-cluster]# gem install redis-3.2.2.gem  

     3、啟動所有的redis節點

       可以寫一個命令指令碼start-all.sh

  1. cd redis01  
  2. ./redis-server redis.conf  
  3. cd ..  
  4. cd redis02  
  5. ./redis-server redis.conf  
  6. cd ..  
  7. cd redis03  
  8. ./redis-server redis.conf  
  9. cd ..  
  10. cd redis04  
  11. ./redis-server redis.conf  
  12. cd ..  
  13. cd redis05  
  14. ./redis-server redis.conf  
  15. cd ..  
  16. cd redis06  
  17. ./redis-server redis.conf  
  18. cd ..  

     設定許可權啟動

  1. [[email protected] redis-cluster]# chmod 777 start-all.sh   
  2. [[email protected] redis-cluster]# ./start-all.sh   

       檢視redis程序啟動狀態

  1. [[email protected] redis-cluster]# ps -ef | grep redis  
  2. root       4547      1  0 23:12 ?        00:00:00 ./redis-server 127.0.0.1:7001 [cluster]  
  3. root       4551      1  0 23:12 ?        00:00:00 ./redis-server 127.0.0.1:7002 [cluster]  
  4. root       4555      1  0 23:12 ?        00:00:00 ./redis-server 127.0.0.1:7003 [cluster]  
  5. root       4559      1  0 23:12 ?        00:00:00 ./redis-server 127.0.0.1:7004 [cluster]  
  6. root       4563      1  0 23:12 ?        00:00:00 ./redis-server 127.0.0.1:7005 [cluster]  
  7. root       4567      1  0 23:12 ?        00:00:00 ./redis-server 127.0.0.1:7006 [cluster]  
  8. root       4840   4421  0 23:26 pts/1    00:00:00 grep --color=auto redis  

  可以看到redis的6個節點已經啟動成功

    殺死全部的幾點：

  1. [[email protected] redis-cluster]# pkill -9 redis  

     4、使用redis-trib.rb建立叢集

  1. ./redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006  

       使用create命令 --replicas 1 引數表示為每個主節點建立一個從節點，其他引數是例項的地址集合。

  1. [[email protected] redis-cluster]# ./redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006  
  2. >>> Creating cluster  
  3. >>> Performing hash slots allocation on 6 nodes...  
  4. Using 3 masters:  
  5. 127.0.0.1:7001  
  6. 127.0.0.1:7002  
  7. 127.0.0.1:7003  
  8. Adding replica 127.0.0.1:7004 to 127.0.0.1:7001  
  9. Adding replica 127.0.0.1:7005 to 127.0.0.1:7002  
  10. Adding replica 127.0.0.1:7006 to 127.0.0.1:7003  
  11. M: dfd510594da614469a93a0a70767ec9145aefb1a 127.0.0.1:7001  
  12.    slots:0-5460 (5461 slots) master  
  13. M: e02eac35110bbf44c61ff90175e04d55cca097ff 127.0.0.1:7002  
  14.    slots:5461-10922 (5462 slots) master  
  15. M: 4385809e6f4952ecb122dbfedbee29109d6bb234 127.0.0.1:7003  
  16.    slots:10923-16383 (5461 slots) master  
  17. S: ec02c9ef3acee069e8849f143a492db18d4bb06c 127.0.0.1:7004  
  18.    replicates dfd510594da614469a93a0a70767ec9145aefb1a  
  19. S: 83e5a8bb94fb5aaa892cd2f6216604e03e4a6c75 127.0.0.1:7005  
  20.    replicates e02eac35110bbf44c61ff90175e04d55cca097ff  
  21. S: 10c097c429ca24f8720986c6b66f0688bfb901ee 127.0.0.1:7006  
  22.    replicates 4385809e6f4952ecb122dbfedbee29109d6bb234  
  23. Can I set the above configuration? (type 'yes' to accept): yes  
  24. >>> Nodes configuration updated  
  25. >>> Assign a different config epoch to each node  
  26. >>> Sending CLUSTER MEET messages to join the cluster  
  27. Waiting for the cluster to join......  
  28. >>> Performing Cluster Check (using node 127.0.0.1:7001)  
  29. M: dfd510594da614469a93a0a70767ec9145aefb1a 127.0.0.1:7001  
  30.    slots:0-5460 (5461 slots) master  
  31. M: e02eac35110bbf44c61ff90175e04d55cca097ff 127.0.0.1:7002  
  32.    slots:5461-10922 (5462 slots) master  
  33. M: 4385809e6f4952ecb122dbfedbee29109d6bb234 127.0.0.1:7003  
  34.    slots:10923-16383 (5461 slots) master  
  35. M: ec02c9ef3acee069e8849f143a492db18d4bb06c 127.0.0.1:7004  
  36.    slots: (0 slots) master  
  37.    replicates dfd510594da614469a93a0a70767ec9145aefb1a  
  38. M: 83e5a8bb94fb5aaa892cd2f6216604e03e4a6c75 127.0.0.1:7005  
  39.    slots: (0 slots) master  
  40.    replicates e02eac35110bbf44c61ff90175e04d55cca097ff  
  41. M: 10c097c429ca24f8720986c6b66f0688bfb901ee 127.0.0.1:7006  
  42.    slots: (0 slots) master  
  43.    replicates 4385809e6f4952ecb122dbfedbee29109d6bb234  
  44. [OK] All nodes agree about slots configuration.  
  45. >>> Check for open slots...  
  46. >>> Check slots coverage...  
  47. [OK] All 16384 slots covered.  

 上面顯示建立成功，有3個主節點，3個從節點，每個節點都是成功連線狀態。

3個主節點[M]以及分配的雜湊卡槽如下：

  M: dfd510594da614469a93a0a70767ec9145aefb1a 127.0.0.1:7001
       slots:0-5460 (5461 slots) master
  M: e02eac35110bbf44c61ff90175e04d55cca097ff 127.0.0.1:7002
       slots:5461-10922 (5462 slots) master
  M: 4385809e6f4952ecb122dbfedbee29109d6bb234 127.0.0.1:7003
       slots:10923-16383 (5461 slots) master

 3個從節點[S]以及附屬的主節點如下：

          S: ec02c9ef3acee069e8849f143a492db18d4bb06c 127.0.0.1:7004
             replicates dfd510594da614469a93a0a70767ec9145aefb1a
          S: 83e5a8bb94fb5aaa892cd2f6216604e03e4a6c75 127.0.0.1:7005
             replicates e02eac35110bbf44c61ff90175e04d55cca097ff
          S: 10c097c429ca24f8720986c6b66f0688bfb901ee 127.0.0.1:7006
             replicates 4385809e6f4952ecb122dbfedbee29109d6bb234

以上叢集安裝成功了，如果安裝未成功報如下錯誤
       >>> Creating cluster
       [ERR] Sorry, can't connect to node  ....

          需要安裝最新的ruby原始碼，下載

  1. [[email protected] redis-cluster]# tar -zxvf ruby-2.3.1.tar.gz   
  2. [[email protected] redis-cluster]# cd    
  3. [[email protected] redis-cluster]# ./configure --prefix=/usr/local/ruby-2.3.1    
  4. [[email protected] redis-cluster]# make && make install       
  5. [[email protected] redis-cluster]#gem install redis    

         還有一種情況是，在VMware做測試的時間（都在一臺伺服器時），ip應該使用127.0.0.1，如果使用區域網ip，也會報節點建立失敗。

        

三、redis叢集的測試

     1、測試存取值

         客戶端連線叢集redis-cli需要帶上 -c ，redis-cli -c -p 埠號

  1. [[email protected] redis01]# ./redis-cli -c -p 7001  
  2. 127.0.0.1:7001> set name andy  
  3. -> Redirected to slot [5798] located at 127.0.0.1:7002  
  4. OK  
  5. 127.0.0.1:7002> get name  
  6. "andy"  
  7. 127.0.0.1:7002>   

        根據redis-cluster的key值分配，name應該分配到節點7002[5461-10922]上，上面顯示redis cluster自動從7001跳轉到了7002節點。

       我們可以測試一下7006從節點獲取name值

  1. [[email protected] redis06]# ./redis-cli -c -p 7006  

  2. 相關推薦

    Redis Cluster叢集(Linux設計搭建)

    Redis Cluster叢集一、redis-cluster設計Redis叢集搭建的方式有多種，例如使用zookeeper等，但從redis 3.0之後版本支援redis-cluster叢集，Redis-Cluster採用無中心結構，每個節點儲存資料和整個叢集狀態,每個節點都

    使用docker redis-cluster叢集搭建

    參考https://www.cnblogs.com/cxbhakim/p/9151720.html此文 主要搭建過程參考上文，此處講下主要過程和遇到的坑 首先是映象的基礎搭建，我不知道是否是作者編寫時和我現在的版本不同了，第一個坑點Dockerfile中FROM Centos:7，這去掉算

    7.redis cluster叢集搭建(6個節點)

    本文是3臺伺服器,1:7001,7002 ; 2: 7003,7004 ; 3:7005,7006 1.安裝redis,同前面文章所提的安裝過程(僅安裝,暫不配置配置檔案) 注意: (1).在etc目錄下新建幾個資料夾 a. redis 用於存放redis.

    redis cluster叢集搭建與深入分析（1）

    對於之前所講的master+slave進行讀寫分離同時通過sentinel叢集保障高可用的架構，對於一般的資料量系統已經足夠。但是對於資料量龐大的T級別的資料，單master可能就無法滿足橫向擴充套件的場景。所以redis cluster支援多master

    Redis-Cluster 叢集搭建（三主三從）

    搭建Ruby yum install ruby yum install rubygems 安裝redis 和 gcc,tcl [[email protected] src]# yum install -y gcc-c++ [[ema

    Redis cluster叢集：原理及搭建

    1.為什麼使用redis？redis是一種典型的no-sql 即非關係資料庫 像python的字典一樣 儲存key-value鍵值對 工作在memory中所以很適合用來充當整個網際網路架構中各級之間的cache 比如lvs的4層轉發層 nginx的7層代理層尤其是lnmp架構

    Redis Cluster叢集的搭建與實踐

    Redis Cluster叢集 一、redis-cluster設計 Redis叢集搭建的方式有多種，例如使用zookeeper等，但從redis 3.0之後版本支援redis-cluster叢集，Redis-Cluster採用無中心結構，每個節點儲存資料和整個叢集狀態,每個

    【精】搭建redis cluster叢集，JedisCluster帶密碼訪問【解決當中各種坑】！

    一.搭建redis單機 本文搭建redis3.0版本，3.0主要增加了redis cluster叢集功能。 1.下載地址：http://download.redis.io/releases/redi

    Ubuntu 16.04下Redis Cluster叢集搭建

    實際操作如下： 版本：4.0.2 原始碼編譯： wget http://download.redis.io/releases/redis-4.0.2.tar.gz tar xzf redis-4.0.2.tar.gz cd redis-4.0.2 make

    redis cluster叢集搭建

    一、環境準備 採用的Vmware pro 12虛擬機器，建立一個centos7最小化版本節點，在上面安裝redis-4.0.6,再複製兩個redis例項。然後通過vmware克隆一個新的節點。從而保證三主三從共6個redis例項。 二、操作步驟 1.在每

    Redis-Cluster叢集搭建及配置

    前言 在上一篇文章中隊redis進行了簡單的介紹和安裝,在這一篇文章中進行一個redis-Cluster的叢集搭建。 Redis-Cluster介紹 redis-cluster架構設計 架構細節: (1)所有的redis節點彼此互聯(PIN

    redis系列（五）：搭建redis-cluster叢集

    1、為什麼要用redis-cluster a、併發要求　　redis官方聲稱可以達到10萬每秒，但是如果業務需要每秒100萬條呢？b、資料量太大　　一臺伺服器的記憶體正常是16-256G，如果業務需要500G記憶體怎麼辦？  2、搭建redis-cluster 針對上述問題，redi

    在滴滴雲上搭建 Redis-Cluster 叢集

    Redis-Cluster 簡介 Redis 官方在 3.0 版本以後推出了 Redis-Cluster 叢集版，該版本能夠解決單機版 Redis 無法水平伸縮的問題，並提供去中心化、高可用的 Redis 叢集服務的能力。 Redis-Custer 主要提供以下功能： 資

    redis-cluster 叢集搭建

    1. 依賴 redis 3.0 以上 ruby 構建叢集命令用到了ruby，所以一定要安裝 2.安裝 redis : 下載redis3.0 tar -zxvf redis3.0.tar.gz /usr/loca

    Docker 搭建 Redis Cluster 叢集環境

    　　使用 Docker 搭建 Redis Cluster，最重要的環節就是容器通訊的問題，這一塊我們在之前的文章中已經給大家解決了《Docker 網路模式詳解及容器間網路通訊》，本篇文章主要練習使用多個容器完成 Redis Cluster 叢集環境的搭建，順便為學習 Docker Compose 鋪鋪路。俗話

    Docker Compose 搭建 Redis Cluster 叢集環境

    　　在前文《Docker 搭建 Redis Cluster 叢集環境》中我已經教過大家如何搭建了，本文使用 Docker Compose 再帶大家搭建一遍，其目的主要是為了讓大家感受 Docker Compose 所帶來的便捷之處。 　　按照 Redis 官網：https://redis.io/topics

    Redis Cluster 官方集群搭建指南

    config remove 集群搭建 rep fig nbsp 功能 zxvf redirect 安裝ruby環境因為官方提供的創建集群的工具是用ruby寫的，需要ruby2.2.2+版本支持，ruby安裝需要指定openssl。安裝openssl $ wget http

    redis cluster叢集配置步驟

    1. 配置redis.conf: 建立7000-7005 六個資料夾，拷貝redis.conf到各個資料夾，然後修改配置如下（除了埠以外其他都可以一樣）： port 7000 cluster-enabled yes cluster-config-file nodes7000.conf

    redis cluster 叢集重新分片故障處理（基於redis 4.0.6）

    redis cluster 叢集重新分片故障處理（基於redis 4.0.6）  環境： redis：4.0.6 現象： 開始gem安裝redis預設版本，gem install redis，部署叢集完畢後，測試程式碼寫入叢集資料，然後進行分片，發現一隻報錯，錯誤如下

    Redis Cluster叢集架構實現(四)--技術流ken

      Redis叢集簡介 通過前面三篇部落格的介紹《Redis基礎認識及常用命令使用(一)--技術流ken》，《Redis基礎知識補充及持久化、備份介紹(二)--技術流ken》，《Redis主從複製、多例項、高可用(三)--技術流ken》，現在已經對redis的基礎知識，常用命令，持久化，備份，主