1. 程式人生 > >2018.4.10 15周5次課

2018.4.10 15周5次課

Linux學習

十五周五次課(4月10日)

18.6 負載均衡集群介紹

18.7 LVS介紹

18.8 LVS調度算法

18.9/18.10 LVS NAT模式搭建

18.6 負載均衡集群介紹

主流開源軟件LVS、keepalived、haproxy、nginx等

其中LVS屬於4層(網絡OSI 7層模型),nginx屬於7層,haproxy既可以認為是4層,也可以當做7層使用

keepalived的負載均衡功能其實就是lvs

lvs這種4層的負載均衡是可以分發除80外的其他端口通信的,比如MySQL的,而nginx僅僅支持http,https,mail,haproxy也支持MySQL這種

相比較來說,LVS這種4層的更穩定,能承受更多的請求,而nginx這種7層的更加靈活,能實現更多的個性化需求

18.7 LVS介紹

LVS是由國人章文嵩開發

流行度不亞於apache的httpd,基於TCP/IP做的路由和轉發,穩定性和效率很高

LVS最新版本基於Linux內核2.6,有好多年不更新了

LVS有三種常見的模式:NAT、DR、IP Tunnel

LVS架構中有一個核心角色叫做分發器(Load balance),它用來分發用戶的請求,還有諸多處理用戶請求的服務器(Real Server,簡稱rs)

技術分享圖片

LVS NAT模式

這種模式借助iptables的nat表來實現

用戶的請求到分發器後,通過預設的iptables規則,把請求的數據包轉發到後端的rs上去

調度器有兩個IP,一個是公網IP,一個是內網IP,而真正服務器只有內網IP

rs需要設定網關為分發器的內網ip

用戶請求的數據包和返回給用戶的數據包全部經過分發器,所以分發器成為瓶頸

在nat模式中,只需要分發器有公網ip即可,所以比較節省公網ip資源

技術分享圖片

LVS IP Tunnel模式

這種模式,需要有一個公共的IP配置在分發器和所有rs上,我們把它叫做vip

客戶端請求的目標IP為vip,分發器接收到請求數據包後,會對數據包做一個加工,會把目標IP改為rs的IP,這樣數據包就到了rs上

rs接收數據包後,會還原原始數據包,這樣目標IP為vip,因為所有rs上配置了這個vip,所以它會認為是它自己

技術分享圖片

LVS DR模式

這種模式,也需要有一個公共的IP配置在分發器和所有rs上,也就是vip

和IP Tunnel不同的是,它會把數據包的MAC地址修改為rs的MAC地址

rs接收數據包後,會還原原始數據包,這樣目標IP為vip,因為所有rs上配置了這個vip,所以它會認為是它自己

技術分享圖片

技術分享圖片

以上三種方法所能支持最大服務器數的估值是假設調度器使用100 MB網卡,調度器的硬件配置與後端服務器的硬件配置相同,而且是針對一般web服務的。使用更高的硬件配置( 如千兆網卡和更快的處理器 )作為調度器,調度器所能調度的服務器數量會相應增加。當應用不同時,服務器的數目也會相應地改變。所以,以上數據估計主要是為三種方法的伸縮性進行量化比較。

根據表21-1的比較可以看出,NAT模式適合小型的集群,機器數量不多,它的優勢是節省公網IP。TUN和DR相差不大,都能支撐較大規模的集群,但缺點是浪費公網IP。

18.8 LVS調度算法

輪詢 Round-Robin rr

加權輪詢 Weight Round-Robin wrr

最小連接 Least-Connection lc

加權最小連接 Weight Least-Connection wlc

基於局部性的最小連接 Locality-Based Least Connections lblc

帶復制的基於局部性最小連接 Locality-Based Least Connections with Replication lblcr

目標地址散列調度 Destination Hashing dh

源地址散列調度 Source Hashing sh

18.9/18.10 LVS NAT模式搭建

NAT模式搭建 – 準備工作

三臺機器

分發器,也叫調度器(簡寫為dir)

內網:37.101,外網:254.254(vmware僅主機模式)

rs1

內網:37.100,設置網關為37.101

rs2

內網:37.103,設置網關為37.101

三臺機器上都執行執行

systemctl stop firewalld; systemctl disable firewalld

systemctl start iptables-services; iptables -F; service iptables save

NAT模式搭建

在dir上安裝ipvsadm

yum install -y ipvsadm

在dir上編寫腳本,vim /usr/local/sbin/lvs_nat.sh //內容如下

#! /bin/bash

# director 服務器上開啟路由轉發功能

echo 1 > /proc/sys/net/ipv4/ip_forward

# 關閉icmp的重定向

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

# 註意區分網卡名字,阿銘的兩個網卡分別為ens33和ens37

echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects

# director 設置nat防火墻

iptables -t nat -F

iptables -t nat -X

iptables -t nat -A POSTROUTING -s 192.168.37.0/24 -j MASQUERADE

# director設置ipvsadm

IPVSADM='/usr/sbin/ipvsadm'

$IPVSADM -C

$IPVSADM -A -t 192.168.254.254:80 -s wlc -p 3

$IPVSADM -a -t 192.168.254.254:80 -r 192.168.37.100:80 -m -w 1

$IPVSADM -a -t 192.168.254.254:80 -r 192.168.37.103:80 -m -w 1

其中ipvsadm的-C選項可以清空規則,防止之前的規則有影響。-A增加Virtual server,-t為TCP,-s選項指定調度算法,wlc為帶權重的最小連接算法,-p指定超時時間(這裏的300為300秒,它表示300 秒內相同用戶的請求會一直被調度到同一臺rs上,在這裏建議你不要設置該參數,否則後續的檢驗結果會比較麻煩), -a增加rs , -r指定rs的IP,-m表示LVS的模式為NAT(masquerad),如果是-g表示LVS模式為DR,-i表示LVS模式為IP Tunnel,-w指定權重。

下面就該測試LVS的效果了,如果dir上有開啟Nginx服務器,需要把它關閉,否則會影響實驗效果:killall nginx

設置755權限:chmod 755 /usr/local/sbin/lvs_nat.sh

執行腳本:sh /usr/local/sbin/lvs_nat.sh

兩臺rs上都安裝nginx,開啟nginx:systemctl start nginx

設置兩臺rs的主頁,做一個區分,也就是說直接curl兩臺rs的ip時,得到不同的結果

100主機上:

curl localhost

技術分享圖片

103主機上

curl localhost

技術分享圖片

查看ipvsadm規則

ipvsadm –ln

技術分享圖片

通過網頁查看:

技術分享圖片

用curl命令訪問

技術分享圖片

連續訪問多次,一直請求到aming05上,這是因為在前面的腳本中設置-p參數,理論上在300秒內會一直請求到aming05上,重新編輯/usr/local/sbin/lvs_nat.sh腳本,把-p參數刪除,再次測試

技術分享圖片

實驗成功


2018.4.10 15周5次課