2. 程式人生 > >LVS+Keepalived搭建MyCAT高可用負載均衡叢集

LVS+Keepalived搭建MyCAT高可用負載均衡叢集

阿新 • • 發佈：2018-12-31

LVS+Keepalived 介紹

LVS

LVS是Linux Virtual Server的簡寫，意即Linux虛擬伺服器，是一個虛擬的伺服器集群系統。本專案在1998年5月由章文嵩博士成立，是中國國內最早出現的自由軟體專案之一。目前有三種IP負載均衡技術（VS/NAT、VS/TUN和VS/DR），十種排程演算法（rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq）。

Keepalvied

Keepalived在這裡主要用作RealServer的健康狀態檢查以及Master主機和BackUP主機之間failover的實現

下面，搭建基於LVS+Keepalived的MyCAT高可用負載均衡叢集，其中，LVS實現MyCAT的負載均衡，但是，簡單的LVS不能監控後端節點是否健康，它只是基於具體的排程演算法對後端服務節點進行訪問。同時，單一的LVS又存在單點故障的風險。在這裡，引進了Keepalived，可以實現以下幾個功能：

1. 檢測後端節點是否健康。

2. 實現LVS本身的高可用。

配置環境：

角色                                    主機IP                    主機名               作業系統版本     軟體版本

VIP                                    192.168.244.10

LVS-DR-Master                   192.168.244.146    keepalived01     CentOS7.1        Keepalived v1.2.13，LVS 1.2.1

LVS-DR-Backup                  192.168.244.147    keepalived02     CentOS7.1        Keepalived v1.2.13，LVS 1.2.1

mycat-Realserver                192.168.244.148    mycat01            CentOS7.1       mycat v1.5 

mycat-Realserver                192.168.244.149    mycat02            CentOS7.1       mycat v1.5 

一、安裝keepalived和ipvsadm

      注意：ipvsadm並不是lvs，它只是lvs的配置工具，因lvs在3.10（CentOS7.1的核心版本）的核心中是預設支援的。所以在這裡就不需要重新安裝。

      為了方便起見，在這裡我們使用yum的安裝方式

      分別在keepalived01和keepalived02兩臺主機上安裝keepalived和ipvsadm

      # yum install -y keepalived ipvsadm

      除了這種簡易方式外，也可直接編譯官方的原始碼包。

二、配置Keepalived

     keepalived01，即LVS-DR-Master上，其配置如下：

     [[email protected] ~]# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]     #設定報警郵件地址，可以設定多個，每行一個。
     [email protected]    #需開啟本機的sendmail服務
     [email protected]
   }
   notification_email_from [email protected]  #設定郵件的傳送地址
   smtp_server 127.0.0.1      #設定smtp server地址
   smtp_connect_timeout 30    #設定連線smtp server的超時時間
   router_id LVS_DEVEL        #表示執行keepalived伺服器的一個標識。發郵件時顯示在郵件主題的資訊
}

vrrp_instance VI_1 {
    state MASTER              #指定keepalived的角色，MASTER表示此主機是主伺服器，BACKUP表示此主機是備用伺服器
    interface eno16777736     #指定HA監測網路的介面
    virtual_router_id 51      #虛擬路由標識，這個標識是一個數字，同一個vrrp例項使用唯一的標識。即同一vrrp_instance下，MASTER和BACKUP必須是一致的
    priority 100              #定義優先順序，數字越大，優先順序越高，在同一個vrrp_instance下，MASTER的優先順序必須大於BACKUP的優先順序
    advert_int 1              #設定MASTER與BACKUP負載均衡器之間同步檢查的時間間隔，單位是秒
    authentication {          #設定驗證型別和密碼
        auth_type PASS        #設定驗證型別，主要有PASS和AH兩種
        auth_pass 1111        #設定驗證密碼，在同一個vrrp_instance下，MASTER與BACKUP必須使用相同的密碼才能正常通訊
    }
    virtual_ipaddress {       #設定虛擬IP地址，可以設定多個虛擬IP地址，每行一個
        192.168.244.10 
    }
}

virtual_server 192.168.244.10 8066 {  #設定虛擬伺服器，需要指定虛擬IP地址和服務埠，IP與埠之間用空格隔開
    delay_loop 6              #設定執行情況檢查時間，單位是秒
    lb_algo rr                #設定負載排程演算法，這裡設定為rr，即輪詢演算法
    lb_kind DR                #設定LVS實現負載均衡的機制，有NAT、TUN、DR三個模式可選
    nat_mask 255.255.255.0 
    persistence_timeout 50    #會話保持時間，單位是秒。這個選項對動態網頁是非常有用的，為集群系統中的session共享提供了一個很好的解決方案。
                              #有了這個會話保持功能，使用者的請求會被一直分發到某個服務節點，直到超過這個會話的保持時間。
                              #需要注意的是，這個會話保持時間是最大無響應超時時間，也就是說，使用者在操作動態頁面時，如果50秒內沒有執行任何操作
                              #那麼接下來的操作會被分發到另外的節點，但是如果使用者一直在操作動態頁面，則不受50秒的時間限制
    protocol TCP              #指定轉發協議型別，有TCP和UDP兩種

    real_server 192.168.244.148 8066 { #配置服務節點1，需要指定real server的真實IP地址和埠，IP與埠之間用空格隔開
        weight 1              #配置服務節點的權值，權值大小用數字表示，數字越大，權值越高，設定權值大小可以為不同效能的伺服器
                              #分配不同的負載，可以為效能高的伺服器設定較高的權值，而為效能較低的伺服器設定相對較低的權值，這樣才能合理地利用和分配系統資源
        TCP_CHECK {           #realserver的狀態檢測設定部分，單位是秒
            connect_timeout 3    #表示3秒無響應超時
            nb_get_retry 3       #表示重試次數
            delay_before_retry 3 #表示重試間隔
            connect_port 8066
        } 
    }
    real_server 192.168.244.149 8066 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 8066
        }
    }
}

      將該檔案scp到keepalived02上，修改如下：

! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
     [email protected]
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    state BACKUP   #將state從MASTER改為BACKUP
    interface eno16777736
    virtual_router_id 51
    priority 99  #修改優先順序
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.244.10
    }
}

virtual_server 192.168.244.10 8066 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP

    real_server 192.168.244.148 8066 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 8066
        }
    }
    real_server 192.168.244.149 8066 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 8066
        }
    }
}

在上面這兩個配置檔案中，有一個地方尤其需要注意，即interface，網上的相關部署文件都是eth0，在CentOS7之前，網路介面的確都是eth0，但在CentOS7中，該介面為eno16777736。所以需要根據生產實際情況進行相應的修改。

三、安裝，配置，啟動MyCAT

     分別在mycat01和mycat02兩臺主機上部署MyCAT，具體可參考：

     注意：為了便於觀察後續MyCAT負載均衡的效果，MyCAT的配置檔案並沒有進行修改，均是指向本地的MySQL例項。

四、在MyCAT伺服器上為lo:0繫結VIP地址、抑制ARP廣播

      分別在mycat01和mycat02兩臺主機上執行以下指令碼。

      [[email protected] ~]# cat realserver.sh

#!/bin/bash
#description: Config realserver

VIP=192.168.244.10
 
/etc/rc.d/init.d/functions
 
case "$1" in
start)
       /sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
       /sbin/route add -host $VIP dev lo:0
       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
       sysctl -p >/dev/null 2>&1
       echo "RealServer Start OK"
       ;;
stop)
       /sbin/ifconfig lo:0 down
       /sbin/route del $VIP >/dev/null 2>&1
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Stoped"
       ;;
*)
       echo "Usage: $0 {start|stop}"
       exit 1
esac
 
exit 0

      [[email protected] ~]# sh realserver.sh start

      [[email protected] ~]# sh realserver.sh start

      執行ip addr檢視VIP是否繫結成功

     

五、分別在keepalived01和keepalived02上啟動Keepalived服務

      [[email protected] keepalived]# service keepalived start

      [[email protected] keepalived]# service keepalived start

      通過ipvsadm -L命令檢視VIP是否能成功對映到後端mycat服務。如果失敗了，可通過/var/log/messages日誌定位keepalived啟動失敗的原因。      

[[email protected] ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr persistent 50
  -> 192.168.244.148:8066         Route   1      0          0         
  -> 192.168.244.149:8066         Route   1      0          0
[[email protected] keepalived]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr persistent 50
  -> 192.168.244.148:8066         Route   1      0          0         
  -> 192.168.244.149:8066         Route   1      0          0

從輸出的結果來看，VIP已成功對映到後端mycat服務，下面，具體測試一下

六、測試MyCAT高可用負載均衡叢集的可用性。

     測試MyCAT叢集的負載均衡

     通過mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'命令來判斷當前訪問的是哪個mycat節點。

     但是很奇怪的時，連續執行三次，每次都是訪問mycat02節點。  

[[email protected] ~]# mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[[email protected]-server1 ~]# mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[[email protected]-server1 ~]# mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+

   通過ipvsadm -L命令檢視這三個連線確實都被轉發到mycat02上了。

[[email protected] ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr persistent 50
  -> 192.168.244.148:8066         Route   1      0          0         
  -> 192.168.244.149:8066         Route   1      0          3

   原來，這個與配置檔案中的persistence_timeout有關，指的是在一定的時間內來自同一IP的連線將會被轉發到同一realserver中。而不是嚴格意義上的輪詢。預設為50s，具體的失效時間還是比較複雜，可參考：lvs永續性工作原理和配置

   在這裡，為了觀察到明顯的輪詢效果。將該值設為0。重啟keepalived服務。

   重新測試，結果如下

[[email protected] ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[[email protected]-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat01    |
+------------+
[[email protected]-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[[email protected]-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat01    |
+------------+

  實現了嚴格意義上的輪詢，ipvsadm -L的輸出結果如下：

[[email protected] ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr
  -> 192.168.244.148:8066         Route   1      0          2         
  -> 192.168.244.149:8066         Route   1      0          2

  每個節點對應2個連線，與上述通過mysql客戶端得到的結果相符。

  測試LVS的高可用

  手動斷開LVS-DR-Master節點的Keepalived服務

[[email protected] ~]# service keepalived stop
Redirecting to /bin/systemctl stop  keepalived.service
[[email protected] ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

 可以發現，mysql客戶端依舊可以通過mycat連線到mysql服務端

[[email protected] ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+

  重啟LVS-DR-Master節點的Keepalived服務後，不難檢測出keepalived01又重新作為了Master節點（因為BACKUP節點的persistence_timeout沒有修改，所以可根據輪詢的特點來判斷哪個節點是master節點）。

  測試Keepalived對於MyCAT服務的監控檢測

  手動關閉mycat01節點的mycat服務

[[email protected] ~]# cd /usr/local/mycat/
[[email protected] mycat]# bin/mycat stop
Stopping Mycat-server...
Stopped Mycat-server.

 通過LVS-DR-Master節點節點上的ipvsadm -L可以看出VIP的對映關係中已剔除了mycat01節點。

[[email protected] ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr
  -> 192.168.244.149:8066         Route   1      0          0

至此，基於LVS+Keepalived的MyCAT叢集搭建完畢。

在整個搭建過程中，有以下幾點需要注意：

1. VIP的埠，必須和後端服務的埠是對應的，我在測試的過程中，將VIP的埠改為7066，結果無法連線上mycat。

[[email protected] ~]#  mysql -h192.168.244.10 -P7066 -utest -ptest -DTESTDB
Warning: Using a password on the command line interface can be insecure.
ERROR 2003 (HY000): Can't connect to MySQL server on '192.168.244.10' (111)
[[email protected] ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB
Warning: Using a password on the command line interface can be insecure.
ERROR 2003 (HY000): Can't connect to MySQL server on '192.168.244.10' (111

2. LVS和後端的realserver還是要物理上分開，剛開始是放到一個機器上測試，但無法得到預期的效果。

3. interface eno16777736這裡是個坑，剛開始寫的是eth0，結果，ping都ping不通，所以還是要與網絡卡的實際名稱相對應。

4. Keepalived還是蠻強大的，即便不使用LVS，也可基於它做高可用叢集。譬如，常見的MySQL的雙主高可用叢集。

5. 關於是否要啟動Linux核心中的路由轉發功能，經測試，無論是LVS還是後端MyCAT服務節點，均可不啟動。

相關推薦

LVS+Keepalived搭建MyCAT高可用負載均衡叢集

LVS+Keepalived 介紹 LVS LVS是Linux Virtual Server的簡寫，意即Linux虛擬伺服器，是一個虛擬的伺服器集群系統。本專案在1998年5月由章文嵩博士成立，是中國國內最早出現的自由軟體專案之一。目前有三種IP負載均衡技術（VS/NAT、VS/TUN和VS/DR），十種

LVS-DR+keepalived 搭建web高可用負載均衡

lvs-dr+keepalived配置實驗環境 redhat6.5 2.6.32-431.el6.x86_64 keepalived-1.2.16版本ipvsadm-1.26-2.el6.x86_64所有的虛擬機 都 關閉防火墻和selinux 配置好了本地yum源搭建要求是對LVS-DR模式的原理熟

LVS+Keepalived+Squid+Nginx高可用負載均衡快取配置

隨著網際網路IT行業的發展，越來越多的企業開始使用開源軟體搭建自己的web架構，主流的LVS也得到了廣泛的應用，在保證高可用的同時，使用者對網站的體驗速度也有了很高的要求，這時候需要我們在我們的架構既要滿足高併發同時還要求高速度。 今天我們來搭建主流架構Lvs+Keepalived+Sq

階段總結——用虛擬機器搭建一個高可用負載均衡叢集架構

搭建一個高可用負載均衡叢集架構出來，並執行三個站點，具體需求如下。 ------------------------------------------------------------------------------------------ 基礎： 1 設計你認為合理的架構，用visio把架構圖

docker下用keepalived+Haproxy實現高可用負載均衡叢集

先記錄下遇到的坑，避免之後忘了； 花時間最多去解決的一個題是：在docker下啟動haproxy服務後在這個docker服務內安裝keepalived無法ping通的問題，雖然最後也是莫名其妙就好了，但是加強了不少對docker的理解和還需深入學習的地方。 為什麼要用

saltstack實現一鍵部署keepalived+haproxy的高可用負載均衡叢集

配置環境 主機名 ip 服務 server1 172.25.1.1 salt-master、salt-minion haproxy、keepalived server2 172.25.1.2 salt-minion

搭建LVS-DR負載均衡叢集、Keepalived-LVS高可用負載均衡叢集

LVS DR模式搭建準備工作三臺機器， 三臺機器均有公網IP。排程器（director）IP：192.168.8.133real server1(real1)IP：192.168.8.134real server2(real2)IP：192.168.8.135VIP：192.

LVS+Keepalived 實現高可用負載均衡叢集

LVS+Keepalived  實現高可用負載均衡叢集     隨著網站業務量的增長，網站的伺服器壓力越來越大？需要負載均衡方案！商業的硬體如 F5 ，Array又太貴，你們又是創業型互聯公司如何有效節約成本，節省不必要的浪費？同時還需要實現商業硬體一樣的高效能高可

Keepalived + LVS + LAMP 高可用負載均衡叢集實現

一、Keepalived 簡介           Keepalived 是一個用 C 語言編寫的路由軟體。它最初是專門為 LVS 負載均衡軟體設計的，用來管理並監控 LVS 集群系統中各個服務節點的狀態，後來又加

Keepalived+Nginx實現高可用負載均衡集群

連接 靜態 adf -1 rip mail fff hostname dex 一 環境介紹 1.操作系統CentOS Linux release 7.2.1511 (Core) 2.服務keepalived+lvs雙主高可用負載均衡集群及LAMP應用keepalived-1

[轉] Haproxy、Keepalived雙主高可用負載均衡

配置過程 virtual dev gnu 文本 tpch margin amp queue http://blog.chinaunix.net/uid-25266990-id-3989321.html 在測試了Nginx+Keepalived的負載均衡後，也對Haprox

搭建MySQL高可用負載均衡集群

分別是 $? 啟動腳本 hang 常見 ase 說明 配置步驟 分享 閱讀目錄1、簡介2、基本環境3、配置MySQL主主復制4、中間件簡述　　4.1、Haproxy介紹　　4.2、keepalived介紹5、中間件的安裝與配置（haproxy、keepalived）　　5.

MMM+Amoeba搭建MySQL高可用負載均衡群集

模擬 關閉防火墻 同步服務 lan 基礎上 拓撲 編譯安裝mysql 時鐘 命令行 MySQL的主從復制和MySQL的讀寫分離兩者有著緊密聯系，首先要部署主從復制，只有主從復制完成了，才能在此基礎上進行數據的讀寫分離。MySQL的讀寫分離就是只在主服務器上寫，只在從服務器上

keepalived+haproxy 高可用負載均衡叢集

案例 chkconfig NetworkManager off chkconfig iptables off cat /etc/sysconfig/selinux #例行公事四臺都要這樣selinux為disabled狀態。 #web為配置好的狀態 只有一個頁面。

搭建簡單的高可用負載均衡叢集

一、搭建DR模式的lvs叢集 環境：DS：192.168.4.53 VIP：192.168.4.100 RS：192.168.4.51 192.168.4.52 1、建立三臺實驗機器，配置好ip和yum倉庫 2、在DR上配置VIP [[email protected] ~]#c

Nginx+Tomcat+lvs+Keepalived搭建的高可用架構

上圖所示是用Nginx做前端伺服器，Tomcat做後端伺服器搭建的高可用架構，其中Memcache用來快取session，後端伺服器都從memcache中獲取session，避免了session不一致的問題。但是這個架構存在明顯的兩個問題： 一、如果前端的

Nginx + Keepalived實現應用高可用負載均衡功能

監控nginx .tar.gz provides listening 一個 list nginx負載均衡 服務器ip load 說明：此處僅介紹 Keepalived 實現nginx負載均衡器的高可用，關於nginx介紹和負載均衡實現可查看我的另兩篇博文 Nginx負載均衡

MySQL高可用負載均衡叢集部署

簡介 使用MySQL時隨著時間的增長，使用者量以及資料量的逐漸增加，訪問量更是劇增，最終將會使MySQL達到某個瓶頸，那麼MySQL的效能將會大大降低。這一結果也不利於軟體的推廣。   那麼如何跨過這個瓶頸，提高MySQL的併發量呢？方法有很多，分散式資料庫、讀寫分離

高可用負載均衡叢集之 HAProxy 部署

一、HAProxy 簡介     1、HAProxy 是開源、免費、快速並且可靠的一種解決方案，他可以執行在大部分主流的 Linux 伺服器上。     2、HAProxy 適用於負載那些特大的 WEB 站點，而這些站點通常又需要會話保持或者

Saltstack自動化運維工具（一鍵部署高可用負載均衡叢集）

在上篇部落格中我們利用salt推送了一臺主機上的haproxy為了實現高可用和負載均衡，我們再使用一臺虛擬機器server4搭建叢集 server1和server4組成高可用和負載均衡叢集 在server4 做好底層配置： 在server4上安裝minion，更改配置檔