Blog.055 LVS 負載均衡群集部署② DR模式
本章目錄
1. LVS-DR 模式
1.1 DR 模式工作原理
1.2 資料包流向分析
1.3 DR 模式特點
2. LVS-DR 中的 ARP 問題
2.1 問題一
2.2 問題二
3. 構建 LVS-DR 叢集
3.1 操作步驟
LVS-DR（Linux Virtual Server Director Server）工作模式，是生產環境中最常用的一種工作模式。
LVS-DR 模式，Director Server 作為群集的訪問入口，不作為閘道器使用，節點 Director Server 與 Real Server 需要在同一個網路中，返回給客戶端的資料不需要經過 Director Server。
為了響應對整個群集的訪問，Director Server 與 Real Server 都需要配置 VIP 地址。
工作原理如下圖所示：
（1）客戶端傳送請求到 Director Server，請求的資料報文（源 IP 是 CIP,目標 IP 是 VIP） 到達核心空間。
（2）Director Server 和 Real Server 在同一個網路中，資料通過二層資料鏈路層來傳輸。
（3）核心空間判斷資料包的目標 IP 是本機 VIP，此時 IPVS 比對資料包請求的服務是否是叢集服務，是叢集服務就重新封裝資料包。修改源 MAC 地址為 Director Server 的 MAC 地址，修改目標 MAC 地址為 Real Server 的 MAC 地址，源 IP 地址與目標 IP 地址沒有改變，然後將資料包傳送給 Real Server。
（4）到達 Real Server 的請求報文的 MAC 地址是自身的 MAC 地址，就接收此報文。資料包重新封裝報文(源 IP 地址為 VIP，目標 IP 為 CIP)，將響應報文通過 lo 介面傳送給物理 網絡卡然後向外發出。
（5）Real Server 直接將響應報文傳送到客戶端。
- Director Server 和 Real Server 必須在同一個物理網路中。
- Real Server 可以使用私有地址，也可以使用公網地址。如果使用公網地址，可以通過 網際網路對 RIP 進行直接訪問。
- 所有的請求報文經由 Director Server，但回覆響應報文不能經過 Director Server。
- Real Server 的閘道器不允許指向 Director Server IP，即不允許資料包經過 Director S erver。
- Real Server 上的 lo 介面配置 VIP 的 IP 地址。
在 LVS-DR 負載均衡叢集中，負載均衡器與節點伺服器都要配置相同的 VIP 地址，在區域網中具有相同的IP地址，勢必會造成各伺服器ARP通訊的紊亂。
- 當 ARP 廣播發送到 LVS-DR 叢集時，因為負載均衡器和節點伺服器都是連線到相同的網路上，它們都會接收到 ARP 廣播；
- 只有前端的負載均衡器進行響應，其他節點伺服器不應該響應 ARP 廣播。
解決方法：
對節點伺服器進行處理，使其不響應針對 VIP 的 ARP 請求
- 使用虛介面 lo:0 承載 VIP 地址；
- 設定核心引數 arp_ ignore=1: 系統只響應目的 IP 為本地 IP 的 ARP 請求。
RealServer 返回報文（源 IP 是 VIP）經路由器轉發，重新封裝報文時，需要先獲取路由器的 MAC 地址，傳送ARP請求時，Linux 預設使用IP包的源IP地址（即VIP）作為 ARP 請求包中的源IP地址，而不使用傳送介面的IP地址，路由器收到 ARP 請求後，將更新 ARP 表項，原有的VIP對應 Director 的 MAC 地址會被更新為 VIP 對應 RealServer 的 MAC 地址。
路由器根據 ARP 表項，會將新來的請求報文轉發給 RealServer，導致 Director 的 VIP 失效
解決方法：
- 對節點伺服器進行處理，設定核心引數 arp_announce=2：系統不使用 IP 包的源地址來設定 ARP 請求的源地址，而選擇傳送介面的 IP 地址。
（1）實驗環境準備
DR 伺服器：192.168.80.30
Web 伺服器1：192.168.80.10
Web 伺服器2：192.168.80.20
NFS共享伺服器：192.168.80.40
vip：192.168.80.188
客戶端：192.168.80.200
（2）配置負載排程器
1 systemctl stop firewalld.service 2 setenforce 0 3 modprobe ip_vs 4 cat /proc/net/ip_vs 5 yum -y install ipvsadm
（3）配置虛擬 ip 地址
1 cd /etc/sysconfig/network-scripts/ 2 cp ifcfg-ens33 ifcfg-ens33:0 #若隧道模式，複製為ifcfg-tunl0（小寫字母l） 3 4 vim ifcfg-ens33:0 5 6 DEVICE=ens33:0 7 ONBOOT=yes #開機自動啟用 8 IPADDR=192.168.80.188 9 NETMASK=255.255.255.255 10 11 ifup ens33:0 12 ifconfig ens33:0 13 route add -host 192.168.80.188 dev ens33:0
（4）調整 proc 響應引數
1 vim /etc/sysctl.conf 2 3 net.ipv4.ip_forward = 1 4 net.ipv4.conf.all.send_redirects = 0 5 net.ipv4.conf.default.send_redirects = 0 6 net.ipv4.conf.ens33.send_redirects = 0 7 8 sysctl -p #重新整理設定
（5）配置負載分配策略
1 ipvsadm-save > /etc/sysconfig/ipvsadm #儲存策略 2 systemctl start ipvsadm 3 4 ipvsadm -C 5 ipvsadm -A -t 192.168.80.188:80 -s rr #新增虛擬伺服器 6 ipvsadm -a -t 192.168.80.188:80 -r 192.168.80.10:80 -g #若隧道模式，-g替換為-i 7 ipvsadm -a -t 192.168.80.188:80 -r 192.168.80.20:80 -g #新增真實伺服器 8 ipvsadm #啟用 9 10 ipvsadm -ln #檢視節點狀態，Route代表 DR模式
（6）部署共享儲存
1 systemctl stop firewalld.service 2 setenforce 0 3 4 yum -y install nfs-utils rpcbind 5 mkdir /opt/kgc /opt/benet 6 chmod 777 /opt/kgc /opt/benet
1 vim /etc/exports 2 3 /opt/kgc 192.168.80.0/24(rw,sync) 4 /opt/benet 192.168.80.0/24(rw,sync) 5 6 systemctl start nfs.service 7 systemctl start rpcbind.service
（7）配置節點伺服器
（192.168.80.10、192.168.80.20）
1 systemctl stop firewalld.service 2 setenforce 0
（8）設定虛擬ip地址
（VIP：192.168.80.188）
此地址僅用作傳送Web響應資料包的源地址，並不需要監聽客戶機的訪問請求(改由排程器監聽並分發)。因此使用虛介面lo:0來承載VIP地址，併為本機新增一條路由記錄，將訪問VIP的資料限制在本地，以避免通訊紊亂。
1 cd /etc/sysconfig/network-scripts/ 2 cp ifcfg-ens33 ifcfg-lo:0 3 4 vim ifcfg-lo:0 5 6 DEVICE=lo:0 7 ONBOOT=yes 8 IPADDR=192.168.80.188 #和VIP保持一致 9 NETMASK=255.255.255.255 #注意：子網掩碼必須全為 1 10 11 ifup lo:0 12 ifconfig lo:0 13 route add -host 192.168.80.188 dev lo:0 #新增VIP本地訪問路由，將訪問VIP的資料限制在本地，以避免通訊紊亂 14 15 vim /etc/rc.local 16 17 /sbin/route add -host 192.168.80.188 dev lo:0
（9）調整 proc 響應引數
1 vim /etc/sysctl.conf 2 3 ...... 4 net.ipv4.conf.lo.arp_ignore = 1 #系統只響應目的IP為本地IP的ARP請求 5 net.ipv4.conf.lo.arp_announce = 2 #系統不使用IP包的源地址來設定ARP請求的源地址，而選擇傳送介面的IP地址 6 net.ipv4.conf.all.arp_ignore = 1 7 net.ipv4.conf.all.arp_announce = 2 8 9 sysctl -p
（10）測試 LVS 群集
-