十六周一次課
18.11 LVS DR模式搭建
18.12 keepalived + LVS
18.11 LVS DR模式搭建
LVS DR模式搭建
DR模式搭建 – 準備工作
三臺機器
分發器,也叫調度器(簡寫為dir)
133.130
rs1
133.132
rs2
133.133
vip
133.200
DR模式搭建
dir上編寫腳本 vim /usr/local/sbin/lvs_dr.sh //內容如下
#! /bin/bashecho 1 > /proc/sys/net/ipv4/ip_forward ipv=/usr/sbin/ipvsadm vip=192.168.133.200 rs1=192.168.133.132 rs2=192.168.133.133#註意這裏的網卡名字ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip dev ens33:2$ipv -C$ipv -A -t $vip:80 -s wrr$ipv -a -t $vip:80 -r $rs1:80 -g -w 1$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
兩臺rs上也編寫腳本 vim /usr/local/sbin/lvs_rs.sh//內容如下
#/bin/bashvip=192.168.133.200#把vip綁定在lo上,是為了實現rs直接把結果返回給客戶端ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip lo:0#以下操作為更改arp內核參數,目的是為了讓rs順利發送mac地址給客戶端#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.htmlecho "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
分別在dir上和兩個rs上執行這些腳本
測試
LVS DR模式搭建
在生產環境用中的比較多的是DR模式,NAT模式有瓶頸,節省公網IP,對小公司來說公網IP也是花錢的,如果是配置的多臺機器,每臺機器都去配置一個公網IP就是很浪費資源的情況,而且當下公網IP越來越少。
另一種方案,搭建內部的lvs,全部都用內網,包括VIP也用內網,用一個公網IP做一個映射;公網的80端口映射到內網VIP的80端口,這樣可以節省IP。
準備工作
1.DR模式,準備三臺機器,只需要有一個網卡,一個IP
分發器,也叫調度器(簡寫為dir)
23.130
rs1
23.129
rs2
23.128
vip
23.200
vip綁定在所有的機器上,不僅分發器需要綁定,還有rs需要綁定
將B和C機器的網關改回23.2
2.保證機器都可以通信
3.在dir分發器(即A機器)上編寫腳本,在/usr/local/sbin/lvs_dr.sh編輯
[root@tianqi-01 ~]# vim /usr/local/sbin/lvs_dr.sh
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
#打開端口轉發
ipv=/usr/sbin/ipvsadm
#這是一個變量
vip=192.168.23.200
rs1=192.168.23.129
rs2=192.168.23.128
#註意這裏的網卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
#給一個網卡設置一個虛擬網卡
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
#這裏-g 指定DR模式
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
保存退出
4.啟動分發器上的腳本
[root@tianqi-01 ~]# sh /usr/local/sbin/lvs_dr.sh
Device 'ens33' successfully disconnected.
Connection successfully activated (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/8)
[root@tianqi-01 ~]#
這裏執行腳本出來的信息是沒有錯的,因為有ifdown ens33和ifup ens33重啟網卡
5.在兩臺rs上寫腳本(即B機器和C機器),在 /usr/local/sbin/lvs_rs.sh 編輯
B機器
[root@tianqi-02 ~]# vim /usr/local/sbin/lvs_rs.sh
#/bin/bash
vip=192.168.23.200
#把vip綁定在lo上,是為了實現rs直接把結果返回給客戶端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作為更改arp內核參數,目的是為了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
保存退出
C機器同上
腳本定義/lo/arp_ignore和/all/arp_ignore的理解:
0 - (默認值): 回應任何網絡接口上對任何本地IP地址的arp查詢請求
1 - 只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求
2 -只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求,且來訪IP必須在該網絡接口的子網段內
3 - 不回應該網絡界面的arp請求,而只對設置的唯一和連接地址做出回應
4-7 - 保留未使用
8 -不回應所有(本地地址)的arp查詢
arp_ignore:定義對目標地址為本地IP的ARP詢問不同的應答模式0
腳本定義/lo/arp_announce和/all/arp_announce的理解
0 - (默認) 在任意網絡接口(eth0,eth1,lo)上的任何本地地址
1 -盡量避免不在該網絡接口子網段的本地地址做出arp回應. 當發起ARP請求的源IP地址是被設置應該經由路由達到此網絡接口的時候很有用.此時會檢查來訪IP是否為所有接口上的子網段內ip之一.如果改來訪IP不屬於各個網絡接口上的子網段內,那麽將采用級別2的方式來進行處理.
2 - 對查詢目標使用最適當的本地地址.在此模式下將忽略這個IP數據包的源地址並嘗試選擇與能與該地址通信的本地地址.首要是選擇所有的網絡接口的子網中外出訪問子網中包含該目標IP地址的本地地址. 如果沒有合適的地址被發現,將選擇當前的發送網絡接口或其他的有可能接受到該ARP回應的網絡接口來進行發送.
arp_announce:對網絡接口上,本地IP地址的發出的,ARP回應,作出相應級別的限制: 確定不同程度的限制,宣布對來自本地源IP地址發出Arp請求的接口
6.執行B機器和C機器的腳本
[root@localhost ~]# sh /usr/local/sbin/lvs_rs.sh
[root@localhost ~]#
7.在B機器和C機器執行命令 route -n 能看到有一個vip的路由 192.168.202.200
B機器
[root@localhost ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.23.2 0.0.0.0 UG 100 0 0 eno16777736
192.168.23.0 0.0.0.0 255.255.255.0 U 100 0 0 eno16777736
192.168.23.200 0.0.0.0 255.255.255.255 UH 0 0 0 lo
[root@localhost ~]#
C機器
[root@tianqi-03 ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.23.2 0.0.0.0 UG 100 0 0 ens33
192.168.23.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
192.168.23.200 0.0.0.0 255.255.255.255 UH 0 0 0 lo
[root@tianqi-03 ~]#
8.用ip add命令查看,會看到 lo網卡上有一個vip,設定了一個IP
B機器
[root@localhost ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 192.168.23.200/32 brd 192.168.23.200 scope global lo:0
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:53:9d:62 brd ff:ff:ff:ff:ff:ff
inet 192.168.23.129/24 brd 192.168.23.255 scope global eno16777736
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe53:9d62/64 scope link
valid_lft forever preferred_lft forever
[root@localhost ~]#
C機器
[root@tianqi-03 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 192.168.23.200/32 brd 192.168.23.200 scope global lo:0
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:62:ac:6b brd ff:ff:ff:ff:ff:ff
inet 192.168.23.128/24 brd 192.168.23.255 scope global ens33
valid_lft forever preferred_lft forever
inet6 fe80::f260:e175:826e:1131/64 scope link
valid_lft forever preferred_lft forever
[root@tianqi-03 ~]#
9.在dir分發器上(即A機器),用ip add命令查看,會看到ens37綁定了192.168.202.200
A機器
[root@tianqi-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:25:28:af brd ff:ff:ff:ff:ff:ff
inet 192.168.23.130/24 brd 192.168.23.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.23.200/32 brd 192.168.23.200 scope global ens33:2
valid_lft forever preferred_lft forever
inet 192.168.23.139/24 brd 192.168.23.255 scope global secondary ens33:0
valid_lft forever preferred_lft forever
inet6 fe80::1eb9:8f9e:264a:7159/64 scope link
valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:25:28:b9 brd ff:ff:ff:ff:ff:ff
inet 192.168.38.147/24 brd 192.168.38.255 scope global ens37
valid_lft forever preferred_lft forever
inet6 fe80::8926:30a4:c44a:4412/64 scope link
valid_lft forever preferred_lft forever
[root@tianqi-01 ~]#
測試
用curl命令訪問這個vip(curl測試vip在rs上不太好用的,因為在本機綁定了這個vip,若是訪問vip,等於訪問自己),但是直接在A機器上去訪問vip會發現失敗,只能再開一個虛擬機來測試,不過用 ipvsadm -ln 命令,會看到ActiveConn都會有變化,表示實驗成功
[root@tianqi-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.23.200:80 rr
-> 192.168.23.128:80 Route 1 2 0
-> 192.168.23.129:80 Route 1 0 4
[root@tianqi-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.23.200:80 rr
-> 192.168.23.128:80 Route 1 1 1
-> 192.168.23.129:80 Route 1 0
因為瀏覽器有緩存,所以沒有辦法及時的查看到lvs負載均衡的效果;但是通過刷新瀏覽器VIP地址,然後在dir機器是上查看ipvsadm的情況,可以發現,每一次刷新,ActiveConn都會有變化,刷新次數到一定數量時,InActConn也會產生變回,可見我們的實驗是成功的。
這時問題就來了,如果因為有緩存,就沒有辦法及時的查看到瀏覽器的變化,我們如何確定負載均衡是否成功?其實這些都是不用擔心的,因為當訪問量達到一定數量時,負載均衡的效果就會慢慢的顯示出來,如同我們實驗一樣,正是因為訪問量小,我們看到的頁面都是一樣;
總結
lvs 不管是nat還是dr模式配置過程都挺簡單的,需要註意的是修改內核參數,打開端口轉發;NAT模式比較重要的是就是rs的網關為dir的IP
18.12 keepalived + LVS
Keepalived+LVS DR
完整架構需要兩臺服務器(角色為dir)分別安裝keepalived軟件,目的是實現高可用,但keepalived本身也有負載均衡的功能,所以本次實驗可以只安裝一臺keepalived
keepalived內置了ipvsadm的功能,所以不需要再安裝ipvsadm包,也不用編寫和執行那個lvs_dir的腳本
三臺機器分別為:
dir(安裝keepalived)133.130
rs1 133.132
rs2 133.133
vip 133.200
編輯keepalived配置文件 vim /etc/keepalived/keepalived.conf//內容地址
需要更改裏面的ip信息
執行ipvsadm -C 把之前的ipvsadm規則清空掉
systemctl restart network 可以把之前的vip清空掉
兩臺rs上,依然要執行/usr/local/sbin/lvs_rs.sh腳本
keepalived有一個比較好的功能,可以在一臺rs宕機時,不再把請求轉發過去
測試
Keepalived+LVS DR
完整架構需要兩臺服務器(角色為dir)分別安裝keepalived軟件,目的是實現高可用,但keepalived本身也有負載均衡的功能,所以本次實驗可以只安裝一臺keepalived
為什麽需要把keepalived 加到lvs 中的目的是什麽?
原因一:lvs,它有個關鍵角色,就是dir分發器,如果分發器宕掉,那所有的訪問就會被終止,因為所有的入口全都在dir分發器上,所以需要把分發器做一個高可用,用keepalived實現高可用,並且keepalived還有負載均衡的作用。
原因二:在使用lvs的時候,如果沒有額外的操作,這時將一個rs機器關機(宕機)時,lvs照樣會分發數據到這臺宕機機器,這是就會出現訪問無效的情況,說明lvs並不聰明;這時使用keepalived,就可以保證集群中其中一臺rs宕機了,web還能正常提供,不會出現用戶訪問時無效鏈接的結果;一般這種架構,肯定是2臺keepalived;
因為keepalived內置了ipvsadm的功能,所以不再需要安裝ipvsadm的包,也不用再編寫和執行.sh腳本
準備工作
1.準備三臺機器,分別為
dir(安裝keepalived)74.129
rs1 74.131
rs2 74.133
vip 74.200
2.在dir分發器(A機器)上,清空ipvsadm規則,並查看ipvsadm規則,會發現已經清空
[root@tianqi-01 ~]# ipvsadm -C
[root@tianqi-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@tianqi-01 ~]#
3.在分發器(即A機器)上編輯配置文件,在/etc/keepalived/keepalived.conf 配置,配置文件內容
因為之前做實驗裏面編輯過配置文件,這時直接刪除,然後粘貼新的配置文件
修改配置文件中的網卡、vip ,還有rs機器上的IP
[root@tianqi-01 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
#備用服務器上為 BACKUP
state MASTER
#綁定vip的網卡為ens33,你的網卡和阿銘的可能不一樣,這裏需要你改一下
interface ens33
virtual_router_id 51
#備用服務器上為90
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass aminglinux
}
virtual_ipaddress {
192.168.23.200 //vip 地址
}
}
virtual_server 192.168.23.200 80 { //vip 地址
#(每隔10秒查詢realserver狀態)
delay_loop 10
#(lvs 算法)
lb_algo wlc
#(DR模式)
lb_kind DR
#(同一IP的連接60秒內被分配到同一臺realserver)
persistence_timeout 60
#(用TCP協議檢查realserver狀態)
protocol TCP
real_server 192.168.23.129 80 { //rs1機器
#(權重)
weight 100
TCP_CHECK {
#(10秒無響應超時)
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.23.128 80 { //rs2機器
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
保存退出
4.啟動nginx服務,查看nginx進程,查看keepalived服務
[root@tianqi-01 ~]# systemctl start keepalived
[root@tianqi-01 ~]# ps aux |grep keepalived
root 3928 0.5 0.1 120740 1404 ? Ss 19:21 0:00 /usr/sbin/keepalived -D
root 3929 1.8 0.3 127480 3328 ? S 19:21 0:00 /usr/sbin/keepalived -D
root 3930 1.1 0.2 131780 2940 ? S 19:21 0:00 /usr/sbin/keepalived -D
root 3937 0.0 0.0 112660 980 pts/2 S+ 19:22 0:00 grep --color=auto keepalived
[root@tianqi-01 ~]# ps aux |grep keepalived
root 3928 0.0 0.1 120740 1404 ? Ss 19:21 0:00 /usr/sbin/keepalived -D
root 3929 0.0 0.3 127480 3328 ? S 19:21 0:00 /usr/sbin/keepalived -D
root 3930 0.0 0.2 131780 2940 ? S 19:21 0:00 /usr/sbin/keepalived -D
root 3941 0.0 0.0 112660 976 pts/2 R+ 19:29 0:00 grep --color=auto keepalived
[root@tianqi-01 ~]#
5.查看IP,會看到虛擬IP依然存在
[root@tianqi-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:25:28:af brd ff:ff:ff:ff:ff:ff
inet 192.168.23.130/24 brd 192.168.23.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.23.200/32 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.23.139/24 brd 192.168.23.255 scope global secondary ens33:0
valid_lft forever preferred_lft forever
inet6 fe80::1eb9:8f9e:264a:7159/64 scope link
valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:25:28:b9 brd ff:ff:ff:ff:ff:ff
inet 192.168.38.147/24 brd 192.168.38.255 scope global ens37
valid_lft forever preferred_lft forever
inet6 fe80::8926:30a4:c44a:4412/64 scope link
valid_lft forever preferred_lft forever
[root@tianqi-01 ~]#
6.查看ipvsadm規則
[root@tianqi-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.23.200:80 wlc persistent 60
-> 192.168.23.128:80 Route 100 0 0
-> 192.168.23.129:80 Route 100 0 0
[root@tianqi-01 ~]#
7.這時關閉keepalived服務,再來查看ip,會到虛擬IP停掉了
[root@tianqi-01 ~]# systemctl stop keepalived
[root@tianqi-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:25:28:af brd ff:ff:ff:ff:ff:ff
inet 192.168.23.130/24 brd 192.168.23.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.23.139/24 brd 192.168.23.255 scope global secondary ens33:0
valid_lft forever preferred_lft forever
inet6 fe80::1eb9:8f9e:264a:7159/64 scope link
valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:25:28:b9 brd ff:ff:ff:ff:ff:ff
inet 192.168.38.147/24 brd 192.168.38.255 scope global ens37
valid_lft forever preferred_lft forever
inet6 fe80::8926:30a4:c44a:4412/64 scope link
valid_lft forever preferred_lft forever
[root@tianqi-01 ~]#
8.再來查看規則,會發現沒有啟動規則
[root@tianqi-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@tianqi-01 ~]#
9.這時啟動keepalived,再來查看規則
[root@tianqi-01 ~]# systemctl start keepalived
[root@tianqi-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.23.200:80 wlc persistent 60
-> 192.168.23.128:80 Route 100 0 0
-> 192.168.23.129:80 Route 100 0 0
[root@tianqi-01 ~]#
10.註意事項:兩點
1.打開dir機器的端口轉發
echo 1 > /proc/sys/net/ipv4/ip_forward //打開端口轉發
2.在rs機器上創建的/usr/local/sbin/lvs_rs.sh腳本,依然要執行它
#把vip綁定在lo上,是為了實現rs直接把結果返回給客戶端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip lo:0
#以下操作為更改arp內核參數,目的是為了讓rs順利發送mac地址給客戶端
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
總結
keepalived 有一個比較好的功能,可以在一臺rs宕機的時候,及時把他踢出 ipvsadm 集群,將不再發送數據包給,也就很好的避免訪問無連接的情況發送。
友情鏈接:http://www.apelearn.com阿銘Linux
十六周一次課