2018.4.10 15周5次課
18.6 負載均衡集群介紹
18.7 LVS介紹
18.8 LVS調度算法
18.9/18.10 LVS NAT模式搭建
18.6 負載均衡集群介紹
主流開源軟件LVS、keepalived、haproxy、nginx等
其中LVS屬於4層(網絡OSI 7層模型),nginx屬於7層,haproxy既可以認為是4層,也可以當做7層使用
keepalived的負載均衡功能其實就是lvs
lvs這種4層的負載均衡是可以分發除80外的其他端口通信的,比如MySQL的,而nginx僅僅支持http,https,mail,haproxy也支持MySQL這種
相比較來說,LVS這種4層的更穩定,能承受更多的請求,而nginx這種7層的更加靈活,能實現更多的個性化需求
18.7 LVS介紹
LVS是由國人章文嵩開發
流行度不亞於apache的httpd,基於TCP/IP做的路由和轉發,穩定性和效率很高
LVS最新版本基於Linux內核2.6,有好多年不更新了
LVS有三種常見的模式:NAT、DR、IP Tunnel
LVS架構中有一個核心角色叫做分發器(Load balance),它用來分發用戶的請求,還有諸多處理用戶請求的服務器(Real Server,簡稱rs)
LVS NAT模式
這種模式借助iptables的nat表來實現
用戶的請求到分發器後,通過預設的iptables規則,把請求的數據包轉發到後端的rs上去
調度器有兩個IP,一個是公網IP,一個是內網IP,而真正服務器只有內網IP
rs需要設定網關為分發器的內網ip
用戶請求的數據包和返回給用戶的數據包全部經過分發器,所以分發器成為瓶頸
在nat模式中,只需要分發器有公網ip即可,所以比較節省公網ip資源
LVS IP Tunnel模式
這種模式,需要有一個公共的IP配置在分發器和所有rs上,我們把它叫做vip
客戶端請求的目標IP為vip,分發器接收到請求數據包後,會對數據包做一個加工,會把目標IP改為rs的IP,這樣數據包就到了rs上
rs接收數據包後,會還原原始數據包,這樣目標IP為vip,因為所有rs上配置了這個vip,所以它會認為是它自己
LVS DR模式
這種模式,也需要有一個公共的IP配置在分發器和所有rs上,也就是vip
和IP Tunnel不同的是,它會把數據包的MAC地址修改為rs的MAC地址
rs接收數據包後,會還原原始數據包,這樣目標IP為vip,因為所有rs上配置了這個vip,所以它會認為是它自己
以上三種方法所能支持最大服務器數的估值是假設調度器使用100 MB網卡,調度器的硬件配置與後端服務器的硬件配置相同,而且是針對一般web服務的。使用更高的硬件配置( 如千兆網卡和更快的處理器 )作為調度器,調度器所能調度的服務器數量會相應增加。當應用不同時,服務器的數目也會相應地改變。所以,以上數據估計主要是為三種方法的伸縮性進行量化比較。
根據表21-1的比較可以看出,NAT模式適合小型的集群,機器數量不多,它的優勢是節省公網IP。TUN和DR相差不大,都能支撐較大規模的集群,但缺點是浪費公網IP。
18.8 LVS調度算法
輪詢 Round-Robin rr
加權輪詢 Weight Round-Robin wrr
最小連接 Least-Connection lc
加權最小連接 Weight Least-Connection wlc
基於局部性的最小連接 Locality-Based Least Connections lblc
帶復制的基於局部性最小連接 Locality-Based Least Connections with Replication lblcr
目標地址散列調度 Destination Hashing dh
源地址散列調度 Source Hashing sh
18.9/18.10 LVS NAT模式搭建
NAT模式搭建 – 準備工作
三臺機器
分發器,也叫調度器(簡寫為dir)
內網:37.101,外網:254.254(vmware僅主機模式)
rs1
內網:37.100,設置網關為37.101
rs2
內網:37.103,設置網關為37.101
三臺機器上都執行執行
systemctl stop firewalld; systemctl disable firewalld
systemctl start iptables-services; iptables -F; service iptables save
NAT模式搭建
在dir上安裝ipvsadm
yum install -y ipvsadm
在dir上編寫腳本,vim /usr/local/sbin/lvs_nat.sh //內容如下
#! /bin/bash
# director 服務器上開啟路由轉發功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 關閉icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 註意區分網卡名字,阿銘的兩個網卡分別為ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 設置nat防火墻
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.37.0/24 -j MASQUERADE
# director設置ipvsadm
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.254.254:80 -s wlc -p 3
$IPVSADM -a -t 192.168.254.254:80 -r 192.168.37.100:80 -m -w 1
$IPVSADM -a -t 192.168.254.254:80 -r 192.168.37.103:80 -m -w 1
其中ipvsadm的-C選項可以清空規則,防止之前的規則有影響。-A增加Virtual server,-t為TCP,-s選項指定調度算法,wlc為帶權重的最小連接算法,-p指定超時時間(這裏的300為300秒,它表示300 秒內相同用戶的請求會一直被調度到同一臺rs上,在這裏建議你不要設置該參數,否則後續的檢驗結果會比較麻煩), -a增加rs , -r指定rs的IP,-m表示LVS的模式為NAT(masquerad),如果是-g表示LVS模式為DR,-i表示LVS模式為IP Tunnel,-w指定權重。
下面就該測試LVS的效果了,如果dir上有開啟Nginx服務器,需要把它關閉,否則會影響實驗效果:killall nginx
設置755權限:chmod 755 /usr/local/sbin/lvs_nat.sh
執行腳本:sh /usr/local/sbin/lvs_nat.sh
兩臺rs上都安裝nginx,開啟nginx:systemctl start nginx
設置兩臺rs的主頁,做一個區分,也就是說直接curl兩臺rs的ip時,得到不同的結果
100主機上:
curl localhost
103主機上
curl localhost
查看ipvsadm規則
ipvsadm –ln
通過網頁查看:
用curl命令訪問
連續訪問多次,一直請求到aming05上,這是因為在前面的腳本中設置-p參數,理論上在300秒內會一直請求到aming05上,重新編輯/usr/local/sbin/lvs_nat.sh腳本,把-p參數刪除,再次測試
實驗成功
2018.4.10 15周5次課