Redis(十六)：集群搭建
一、概述
Redis3.0版本之後支持Cluster.
1.1、redis cluster的現狀
目前redis支持的cluster特性：
1):節點自動發現
2):slave->master 選舉,集群容錯
3):Hot resharding:在線分片
4):進群管理:cluster xxx
5):基於配置(nodes-port.conf)的集群管理
6):ASK 轉向/MOVED 轉向機制.
1.2、redis cluster 架構
1)redis-cluster架構圖
架構細節:
(1)所有的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬.
(2)節點的fail是通過集群中超過半數的節點檢測失效時才生效.
(3)客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連接集群所有節點,連接集群中任何一個可用節點即可
(4)redis-cluster把所有的物理節點映射到[0-16383]slot上,cluster 負責維護node<->slot<->value
2) redis-cluster選舉:容錯
(1)領著選舉過程是集群中所有master參與,如果半數以上master節點與master節點通信超過(cluster-node-timeout),認為當前master節點掛掉.
(2):什麽時候整個集群不可用(cluster_state:fail),當集群不可用時,所有對集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)錯誤
a:如果集群任意master掛掉,且當前master沒有slave.集群進入fail狀態,也可以理解成進群的slot映射[0-16383]不完成時進入fail狀態.
b:如果進群超過半數以上master掛掉，無論是否有slave集群進入fail狀態.
二、redis cluster安裝
1、下載和解包
| 1 2 3 |
cd /usr/local/wget http://download.redis.io/releases/redis-3.2.1.tar.gz
tar -zxvf /redis-3.2.1.tar.gz
|
2、 編譯安裝
cd redis-3.2.1 make && make install
3、創建redis節點
測試我們選擇2臺服務器，分別為：192.168.1.237，192.168.1.238.每分服務器有3個節點。
我先在192.168.1.237創建3個節點：
cd /usr/local/ mkdir redis_cluster //創建集群目錄 mkdir 7000 7001 7002 //分別代表三個節點 其對應端口 7000 7001 7002 //創建7000節點為例，拷貝到7000目錄 cp /usr/local/redis-3.2.1/redis.conf ./redis_cluster/7000/ //拷貝到7001目錄 cp /usr/local/redis-3.2.1/redis.conf ./redis_cluster/7001/ //拷貝到7002目錄 cp /usr/local/redis-3.2.1/redis.conf ./redis_cluster/7002/
分別對7001，7002、7003文件夾中的3個文件修改對應的配置
daemonize yes //redis後臺運行 pidfile /var/run/redis_7000.pid //pidfile文件對應7000,7002,7003 port 7000 //端口7000,7002,7003 cluster-enabled yes //開啟集群 把註釋#去掉 cluster-config-file nodes_7000.conf //集群的配置 配置文件首次啟動自動生成 7000,7001,7002 cluster-node-timeout 5000 //請求超時 設置5秒夠了 appendonly yes //aof日誌開啟 有需要就開啟，它會每次寫操作都記錄一條日誌
在192.168.1.238創建3個節點：對應的端口改為7003,7004,7005.配置對應的改一下就可以了。
4、兩臺機啟動各節點(兩臺服務器方式一樣)
cd /usr/local redis-server redis_cluster/7000/redis.conf redis-server redis_cluster/7001/redis.conf redis-server redis_cluster/7002/redis.conf redis-server redis_cluster/7003/redis.conf redis-server redis_cluster/7004/redis.conf redis-server redis_cluster/7005/redis.conf
5、查看服務
ps -ef | grep redis #查看是否啟動成功
netstat -tnlp | grep redis #可以看到redis監聽端口
三、創建集群
前面已經準備好了搭建集群的redis節點，接下來我們要把這些節點都串連起來搭建集群。官方提供了一個工具：redis-trib.rb(/usr/local/redis-3.2.1/src/redis-trib.rb) 看後綴就知道這鳥東西不能直接執行，它是用ruby寫的一個程序，所以我們還得安裝ruby.
yum -y install ruby ruby-devel rubygems rpm-build
再用 gem 這個命令來安裝 redis接口 gem是ruby的一個工具包.
gem install redis //等一會兒就好了 當然，方便操作，兩臺Server都要安裝。
上面的步驟完事了，接下來運行一下redis-trib.rb
/usr/local/redis-3.2.1/src/redis-trib.rb
Usage: redis-trib <command> <options> <arguments ...>
reshard host:port
--to <arg>
--yes
--slots <arg>
--from <arg>
check host:port
call host:port command arg arg .. arg
set-timeout host:port milliseconds
add-node new_host:new_port existing_host:existing_port
--master-id <arg>
--slave
del-node host:port node_id
fix host:port
import host:port
--from <arg>
help (show this help)
create host1:port1 ... hostN:portN
--replicas <arg>
For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.
看到這，應該明白了吧， 就是靠上面這些操作 完成redis集群搭建的.
確認所有的節點都啟動，接下來使用參數create 創建 (在192.168.1.237中來創建)
/usr/local/redis-3.2.1/src/redis-trib.rb create --replicas 1 192.168.1.237:7000 192.168.1.237:7001 192.168.1.237:7003 192.168.1.238:7003 192.168.1.238:7004 192.168.1.238:7005
解釋下， --replicas 1 表示 自動為每一個master節點分配一個slave節點 上面有6個節點，程序會按照一定規則生成 3個master（主）3個slave(從)
前面已經提醒過的 防火墻一定要開放監聽的端口，否則會創建失敗。
運行中，提示Can I set the above configuration? (type ‘yes‘ to accept): yes //輸入yes
接下來 提示 Waiting for the cluster to join.......... 安裝的時候在這裏就一直等等等，沒反應，傻傻等半天，看這句提示上面一句，Sending Cluster Meet Message to join the Cluster.
這下明白了，我剛開始在一臺Server上去配，也是不需要等的，這裏還需要跑到Server2上做一些這樣的操作。
在192.168.1.238, redis-cli -c -p 700* 分別進入redis各節點的客戶端命令窗口， 依次輸入 cluster meet 192.168.1.238 7000……
回到Server1，已經創建完畢了。
查看一下 /usr/local/redis/src/redis-trib.rb check 192.168.1.237:7000
到這裏集群已經初步搭建好了。
四、測試
1）get 和 set數據
redis-cli -c -p 7000
進入命令窗口，直接 set hello howareyou
直接根據hash匹配切換到相應的slot的節點上。
還是要說明一下，redis集群有16383個slot組成，通過分片分布到多個節點上，讀寫都發生在master節點。
2）假設測試
果斷先把192.168.1.238服務Down掉，（192.168.1.238有1個Master, 2個Slave） , 跑回192.168.1.238, 查看一下 發生了什麽事，192.168.1.237的3個節點全部都是Master，其他幾個Server2的不見了
測試一下，依然沒有問題，集群依然能繼續工作。
原因： redis集群 通過選舉方式進行容錯，保證一臺Server掛了還能跑，這個選舉是全部集群超過半數以上的Master發現其他Master掛了後，會將其他對應的Slave節點升級成Master.
疑問： 要是掛的是192.168.1.237怎麽辦？ 哥試了，cluster is down!! 沒辦法，超過半數掛了那救不了了，整個集群就無法工作了。 要是有三臺Server，每臺兩Master，切記對應的主從節點
不要放在一臺Server,別問我為什麽自己用腦子想想看，互相交叉配置主從，掛哪臺也沒事，你要說同時兩臺crash了，呵呵噠......
3）關於一致性
我還沒有這麽大膽拿redis來做數據庫持久化哥網站數據，只是拿來做cache，官網說的很清楚，Redis Cluster is not able to guarantee strong consistency.
五、安裝遇到的問題
1、
CC adlist.o
/bin/sh: cc: command not found
make[1]: *** [adlist.o] Error 127
make[1]: Leaving directory `/usr/local/redis-3.2.1/src
make: *** [all] Error 2
解決辦法：GCC沒有安裝或版本不對，安裝一下
yum install gcc
2、
zmalloc.h:50:31:
error: jemalloc/jemalloc.h: No such file or directory
zmalloc.h:55:2: error:
#error "Newer version of jemalloc required"
make[1]: *** [adlist.o] Error
1
make[1]: Leaving directory `/data0/src/redis-2.6.2/src
make: *** [all]
Error 2
解決辦法：原因是沒有安裝jemalloc內存分配器，可以安裝jemalloc 或 直接
輸入make MALLOC=libc && make install
更多問題
Redis集群搭建問題匯總
Redis(十六)：集群搭建