企業實戰-KeepAlived+Redis實現主從熱備、秒級切換
最近公司生產環境需要做一個Redis+Keepalived的集群架構，分別用六個端口，實現多路復用，最終實現主從熱備、秒級切換。
一、部署Redis集群
首先用兩臺虛擬機模擬6個節點，一臺機器3個節點，創建出3 master、3 salve 環
境。然後模擬成功，方可去線上生產服務器部署。
redis 采用 redis-3.2.4 版本。
兩臺虛擬機都是 CentOS ，一臺 CentOS6.5 （IP:192.168.31.245），一臺
CentOS7（IP:192.168.31.210） 。
安裝過程
1. 下載並解壓
cd/root/software wget http://download.redis.io/releases/redis-3.2.4.tar.gz tar-zxvf redis-3.2.4.tar.gz
2. 編譯安裝
cd redis-3.2.4make && make install
3. 將 redis-trib.rb 復制到 /usr/local/bin 目錄下
cd srccp redis-trib.rb /usr/local/bin/
4. 創建 Redis 節點
首先在 192.168.31.245 機器上 /root/software/redis-3.2.4 目錄下創建 redis_cluster
目錄；
mkdir redis_cluster
在 redis_cluster 目錄下，創建名為7000、7001、7002的目錄，並將 redis.conf 拷貝到這三個目錄中
mkdir 700070017002 cp redis.conf redis_cluster/7000cp redis.conf redis_cluster/7001cp redis.conf redis_cluster/7002
分別修改這三個配置文件，修改如下內容
port 7000 //端口7000,7002,7003
bind 本機ip //默認ip為127.0.0.1 需要改為其他節點機器可訪問的ip 否則創建集群時無法訪問對應的端口，無法創建集群
daemonize yes //redis後臺運行pidfile
/var/run/redis_7000.pid //pidfile文件對應7000,7001,7002
cluster-enabled yes //開啟集群 把註釋#去掉
cluster-config-file nodes_7000.conf //集群的配置 配置文件首次啟動自動生成
7000,7001,7002cluster-node-timeout 15000 //請求超時 默認15秒，可自行設置
appendonly yes //aof日誌開啟 有需要就開啟，它會每次寫操作都記
錄一條日誌
接著在另外一臺機器上（192.168.31.210），的操作重復以上三步，只是把目錄改
為7003、7004、7005，對應的配置文件也按照這個規則修改即可
5. 啟動各個節點
第一臺機器上執行（在/src目錄下）
redis-server redis_cluster/7000/redis.conf redis-server redis_cluster/7001/redis.conf redis-server redis_cluster/7002/redis.conf
另外一臺機器上執行
redis-server redis_cluster/7003/redis.conf redis-server redis_cluster/7004/redis.conf redis-server redis_cluster/7005/redis.conf
6. 檢查 redis 啟動情況
##一臺機器
ps -ef | grep redis root 610201002:14 ? 00:00:01 redis-server 127.0.0.1:7000 [cluster] root 610241002:14 ? 00:00:01 redis-server 127.0.0.1:7001 [cluster] root 610291002:14 ? 00:00:01 redis-server 127.0.0.1:7002 [cluster]
netstat -tnlp | grep redistcp 00127.0.0.1:170000.0.0.0:* LISTEN 61020/redis-server tcp 00127.0.0.1:170010.0.0.0:* LISTEN 61024/redis-server tcp 00127.0.0.1:170020.0.0.0:* LISTEN 61029/redis-server tcp 00127.0.0.1:70000.0.0.0:* LISTEN 61020/redis-server tcp 00127.0.0.1:70010.0.0.0:* LISTEN 61024/redis-server tcp 00127.0.0.1:70050.0.0.0:* LISTEN 9971/redis-server 1
##另外一臺機器
ps -ef | grep redisroot 99571002:32 ? 00:00:01 redis-server 127.0.0.1:7003 [cluster]root 99641002:32 ? 00:00:01 redis-server 127.0.0.1:7004 [cluster]root 99711002:32 ? 00:00:01 redis-server 127.0.0.1:7005 [cluster]root 100654744002:38 pts/000:00:00 grep --color=auto redis
netstat -tlnp | grep redistcp 00127.0.0.1:170030.0.0.0:* LISTEN 9957/redis-server 1tcp 00127.0.0.1:170040.0.0.0:* LISTEN 9964/redis-server 1tcp 00127.0.0.1:170050.0.0.0:* LISTEN 9971/redis-server 1tcp 00127.0.0.1:70030.0.0.0:* LISTEN 9957/redis-server 1tcp 00127.0.0.1:70040.0.0.0:* LISTEN 9964/redis-server 1tcp 00127.0.0.1:70050.0.0.0:* LISTEN 9971/redis-server 1
7.創建集群
Redis 官方提供了 redis-trib.rb 這個工具，就在解壓目錄的 src 目錄中，第三步中已
將它復制到 /usr/local/bin 目錄中，可以直接在命令行中使用了。使用下面這個命令
完成安裝。
redis-trib.rb create --replicas 1 192.168.31.245:7000192.168.31.245:7001192.168.31.245:7002192.168.31.210:7003192.168.31.210:7004192.168.31.210:7005
其中，前三個 ip:port 為第一臺機器的節點，剩下三個為第二臺機器。等等，出錯了。這個工具是用 ruby 實現的，所以需要安裝 ruby。安裝命令如下：
yum -y installruby ruby-devel rubygems rpm-build gem installredis
之後再運行 redis-trib.rb 命令，會出現如下提示：
輸入 yes 即可，然後出現如下內容，說明安裝成功。
8. 集群驗證
在第一臺機器上連接集群的7002端口的節點，在另外一臺連接7005節點，連接方式為 redis-cli
-h 192.168.31.245 -c -p 7002 ,加參數 -C 可連接到集群，因為上面 redis.conf 將
bind 改為了ip地址，所以 -h 參數不可以省略。
在7005節點執行命令 set hello world ，執行結果如下：
在另外一臺7002端口，查看 key 為 hello 的內容， get hello ，執行結果如下：
說明集群成功
簡單說一下原理
redis cluster在設計的時候，就考慮到了去中心化，去中間件，也就是說，集群中的
每個節點都是平等的關系，都是對等的，每個節點都保存各自的數據和整個集群的
狀態。每個節點都和其他所有節點連接，而且這些連接保持活躍，這樣就保證了
我們只需要連接集群中的任意一個節點，就可以獲取到其他節點的數據。
Redis 集群沒有並使用傳統的一致性哈希來分配數據，而是采用另外一種叫做哈希槽
(hash slot)的方式來分配的。redis cluster 默認分配了 16384 個slot，當我們set一個
key 時，會用CRC16算法來取模得到所屬的slot，然後將這個key 分到哈希槽區間的節點上，
具體算法就是：CRC16(key) % 16384。所以我們在測試的時候看到set 和 get 的時候，直接
跳轉到了7000端口的節點。
Redis 集群會把數據存在一個 master 節點，然後在這個 master 和其對應的salve 之
間進行數據同步。當讀取數據時，也根據一致性哈希算法到對應的 master 節點獲取
數據。只有當一個master 掛掉之後，才會啟動一個對應的 salve 節點，充當 master
。
需要註意的是：必須要3個或以上的主節點，否則在創建集群時會失敗，並且當存活的主節
點小於總節點數的一半時，整個集群就無法提供服務了。
二、部署Keepalived，實現主從熱備、秒級切換
redis1：192.168.9.70
redis2：192.168.9.71
VIP地址：192.168.9.91
1、安裝keepalived
yum install keepalived
2、修改配置文件
redis1：
[[email protected] ~]# cat /etc/keepalived/keepalived.conf
/bin/bash: Configuration: command not found
bal_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_redis {
script "/etc/keepalived/chk_redis.sh"
interval 2
weight 2
}
vrrp_instance VI_1 {
state MASTER
interface ens160
virtual_router_id 51
priority 99
authentication {
auth_type PASS
auth_pass 1111
}
track_script {
chk_redis
}
virtual_ipaddress {
192.168.9.91
}
notify_backup "/etc/init.d/redis restart"
notify_fault "/etc/init.d/redis stop"
}redis2:
[[email protected] ~]# cat /etc/keepalived/keepalived.conf
/bin/bash: Configuration: command not found
bal_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_redis {
script "/etc/keepalived/chk_redis.sh"
interval 2
weight 2
}
vrrp_instance VI_1 {
state MASTER
interface ens160
virtual_router_id 51
priority 99
authentication {
auth_type PASS
auth_pass 1111
}
track_script {
chk_redis
}
virtual_ipaddress {
192.168.9.91
}
notify_backup "/etc/init.d/redis restart"
notify_fault "/etc/init.d/redis stop"
}redis_chk.sh：
[[email protected] ~]# cat /etc/keepalived/redis_chk.sh
#!/bin/bash
if [ $(ps -ef| grep -v grep | grep :7000 | wc -l) -eq 0 ];then
/etc/init.d/redis7000 start
fi
if [ $(ps -ef| grep -v grep | grep :7001 | wc -l) -eq 0 ];then
/etc/init.d/redis7001 start
fi
if [ $(ps -ef| grep -v grep | grep :7002 | wc -l) -eq 0 ];then
/etc/init.d/redis7002 start
fi3、開啟服務、驗證是否有VIP地址
[[email protected] ~]# systemctl restart keepalived
[[email protected] ~]# ip addr show dev ens160
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
link/ether 00:50:56:94:7b:cd brd ff:ff:ff:ff:ff:ff
inet 192.168.9.71/24 brd 192.168.9.255 scope global ens160
valid_lft forever preferred_lft forever
inet 192.168.9.91/32 scope global ens160
valid_lft forever preferred_lft forever
inet6 fe80::250:56ff:fe94:7bcd/64 scope link
valid_lft forever preferred_lft forever由此，所有的操作都完成，可以線上部署咯，O(∩_∩)O~~！！！
本文出自 “一盞燭光” 博客，謝絕轉載！
企業實戰-KeepAlived+Redis實現主從熱備、秒級切換