LVS負載均衡叢集--DR模式

阿新 • • 發佈：2021-08-19

LVS-DR叢集

　　LVS-DR（Linux Virtual Server Director Server）工作模式，是生產環境中最常用的一種工作模式。

LVS-DR 工作原理

　　LVS-DR 模式，Director Server 作為群集的訪問入口，不作為閘道器使用，節點 Director Server 與 Real Server 需要在同一個網路中，返回給客戶端的資料不需要經過 Director Server。為了響應對整個群集的訪問，Director Server 與 Real Server 都需要配置 VIP 地址。

資料包流向分析

客戶端傳送請求到 Director Server

,請求的資料報文（源 IP 是 CIP,目標 IP 是 VIP）到達核心空間。
Director Server 和 Real Server 在同一個網路中，資料通過二層資料鏈路層來傳輸。
核心空間判斷資料包的目標 IP 是本機 VIP，此時 IPVS 比對資料包請求的服務是否是叢集服務，是叢集服務就重新封裝資料包。修改源 MAC 地址為 Director Server 的 MAC 地址，修改目標 MAC 地址為 Real Server 的 MAC 地址，源 IP 地址與目標 IP 地址沒有改變，然後將資料包傳送給 Real Server。
到達 Real Server 的請求報文的 MAC 地址是自身的 MAC 地址，就接收此報文。資料包重新封裝報文

(源 IP 地址為 VIP，目標 IP 為 CIP)，將響應報文通過 lo 介面傳送給物理網絡卡然後向外發出。
Real Server 直接將響應報文傳送到客戶端。

LVS-DR 模式的特點

Director Server 和 Real Server 必須在同一個物理網路中。
Real Server 可以使用私有地址，也可以使用公網地址。如果使用公網地址，可以通過網際網路對 RIP 進行直接訪問。
所有的請求報文經由 Director Server，但回覆響應報文不能經過 Director Server。
Real Server 的閘道器不允許指向 Director Server IP，即不允許資料包經過 Director S erver。

Real Server 上的 lo 介面配置 VIP 的 IP 地址。

LVS-DR中的ARP問題

問題一

問題說明：

在LVS-DR負載均衡叢集中，負載均衡器與節點伺服器都要配置相同的VIP地址，在區域網中具有相同的IP地址。勢必會造成各伺服器ARP通訊的紊亂
當ARP廣播發送到LVS-DR叢集時，因為負載均衡器和節點伺服器都是連線到相同的網路上，它們都會接收到ARP廣播
只有前端的負載均衡器進行響應，其他節點伺服器不應該響應ARP廣播

解決方法：

　　對節點伺服器進行處理，使其不響應針對VIP的ARP請求

使用虛介面lo:0承載VIP地址
設定核心引數arp_ ignore=1: 系統只響應目的IP為本地IP的ARP請求

問題二

問題說明：

　　RealServer返回報文（源IP是VIP）經路由器轉發，重新封裝報文時，需要先獲取路由器的MAC地址，傳送ARP請求時，Linux預設使用IP包的源IP地址（即VIP）作為ARP請求包中的源IP地址，而不使用傳送介面的IP地址，路由器收到ARP請求後，將更新ARP表項，原有的VIP對應Director的MAC地址會被更新為VIP對應RealServer的MAC地址。

　　路由器根據ARP表項，會將新來的請求報文轉發給RealServer，導致Director的VIP失效。

解決方法：

對節點伺服器進行處理，設定核心引數arp_announce=2：系統不使用IP包的源地址來設定ARP請求的源地址，而選擇傳送介面的IP地址

實驗環境準備：

1 DR 伺服器：192.168.208.50
2 Web 伺服器1：192.168.208.20
3 Web 伺服器2：192.168.208.30
4 NFS共享伺服器：192.168.208.40
5 vip：192.168.208.188
6 客戶端：192.168.208.200

1.配置負載排程器（192.168.208.50）

1 systemctl stop firewalld.service
2 setenforce 0
3 modprobe ip_vs
4 cat /proc/net/ip_vs
5 yum -y install ipvsadm

配置虛擬 IP 地址（VIP：192.168.208.188）

1 cd /etc/sysconfig/network-scripts/
2 cp ifcfg-ens33 ifcfg-ens33:0                  #若隧道模式，複製為ifcfg-tunl0（小寫字母l）
3 vim ifcfg-ens33:0

1 DEVICE=ens33:0
2 ONBOOT=yes                                    #開機自動啟用
3 IPADDR=192.168.208.188
4 NETMASK=255.255.255.255

1 ifup ens33:0
2 ifconfig ens33:0
3 route add -host 192.168.208.188 dev ens33:0
  route -n

調整 proc 響應引數

　　由於 LVS 負載排程器和各節點需要共用 VIP 地址，應該關閉Linux 核心的重定向引數響應。

1 vim /etc/sysctl.conf

1 net.ipv4.ip_forward = 1
2 net.ipv4.conf.all.send_redirects = 0
3 net.ipv4.conf.default.send_redirects = 0
4 net.ipv4.conf.ens33.send_redirects = 0

1 sysctl -p                           #重新整理設定

配置負載分配策略

 1 ipvsadm-save > /etc/sysconfig/ipvsadm                               #儲存策略
 2 systemctl start ipvsadm
 3 
 4 ipvsadm -C
 5 ipvsadm -A -t 192.168.208.188:80 -s rr                              #新增虛擬伺服器
 6 ipvsadm -a -t 192.168.208.188:80 -r 192.168.208.20:80 -g            #若隧道模式，-g替換為-i
 7 ipvsadm -a -t 192.168.208.188:80 -r 192.168.208.30:80 -g            #新增真實伺服器
 8 ipvsadm                                                             #啟用
 9 
10 ipvsadm -ln                                                         #檢視節點狀態，Route代表 DR模式

2. 部署共享儲存（NFS伺服器：192.168.208.40）

1 systemctl stop firewalld.service
2 setenforce 0
3 
4 yum -y install nfs-utils rpcbind
5 mkdir /opt/kgc /opt/benet
6 chmod 777 /opt/kgc /opt/benet
7 
8 vim /etc/exports
/opt/kgc 192.168.208.0/24(rw,sync) 
/opt/benet 192.168.208.0/24(rw,sync)

1 systemctl start nfs.service
2 systemctl start rpcbind.service
  systemctl enable nfs.service
  systemctl enable rpcbind.service
  #釋出共享
  exportfs -rv

3.配置節點伺服器（192.168.208.20、192.168.208.30）

1 systemctl stop firewalld.service
2 setenforce 0

配置虛擬 IP 地址（VIP：192.168.208.188）

###此地址僅用作傳送Web響應資料包的源地址，並不需要監聽客戶機的訪問請求(改由排程器監聽並分發)。因此使用虛介面lo:0來承載VIP地址，併為本機新增一條路由記錄，將訪問VIP的資料限制在本地，以避免通訊紊亂。

1 cd /etc/sysconfig/network-scripts/
2 cp ifcfg-ens33 ifcfg-lo:0        
3 vim ifcfg-lo:0

1 DEVICE=lo:0
2 ONBOOT=yes
3 IPADDR=192.168.208.188                         #和VIP保持一致
4 NETMASK=255.255.255.255                        #注意：子網掩碼必須全為 1

1 ifup lo:0
2 ifconfig lo:0
3 route add -host 192.168.208.188 dev lo:0        #新增VIP本地訪問路由，將訪問VIP的資料限制在本地，以避免通訊紊亂
4 
5 vim /etc/rc.local
 /sbin/route add -host 192.168.208.188 dev lo:0

調整 proc 響應引數

1 vim /etc/sysctl.conf

1 ......
2 net.ipv4.conf.lo.arp_ignore = 1            #系統只響應目的IP為本地IP的ARP請求
3 net.ipv4.conf.lo.arp_announce = 2          #系統不使用IP包的源地址來設定ARP請求的源地址，而選擇傳送介面的IP地址
4 net.ipv4.conf.all.arp_ignore = 1
5 net.ipv4.conf.all.arp_announce = 2

1 sysctl -p

###或臨時新增

1 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
2 echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
3 echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
4 echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
5 
6 sysctl -p

安裝服務、掛載服務

1 yum -y install nfs-utils rpcbind httpd
2 systemctl start rpcbind
3 systemctl start httpd

1 --192.168.208.20---
2 mount.nfs 192.168.208.40:/opt/kgc /var/www/html
3 echo 'this is kgc web!' > /var/www/html/index.html
4 
5 --192.168.208.30---
6 mount.nfs 192.168.208.40:/opt/benet /var/www/html
7 echo 'this is benet web!' > /var/www/html/index.html

（節點伺服器2配置與節點伺服器1一樣）

4.客戶機配置

5.測試 LVS 群集

　　在客戶端使用瀏覽器訪問 http://192.168.208.188/，預設閘道器指向192.168.208.188

LVS負載均衡叢集--DR模式

LVS-DR叢集

LVS-DR 工作原理

資料包流向分析

LVS-DR 模式的特點

LVS-DR中的ARP問題

問題一

解決方法：

問題二

解決方法：

實驗環境準備：

1.配置負載排程器（192.168.208.50）

配置虛擬 IP 地址（VIP：192.168.208.188）

調整 proc 響應引數

配置負載分配策略

2. 部署共享儲存（NFS伺服器：192.168.208.40）

3.配置節點伺服器（192.168.208.20、192.168.208.30）

配置虛擬 IP 地址（VIP：192.168.208.188）

調整 proc 響應引數

###或臨時新增

安裝服務、掛載服務

4.客戶機配置

5.測試 LVS 群集

相關推薦