2. 程式人生 > >Linux學習總結（五十四）keepalived+lvs 雙機熱備負載均衡架構

Linux學習總結（五十四）keepalived+lvs 雙機熱備負載均衡架構

阿新 • • 發佈：2018-05-25
DR LVS keepalived+lvs

一 LVS IP tunnel 模式介紹

IP隧道(IP tunneling)是將一個IP報文封裝在另一個IP報文的技術，這可以使得目標為一個IP地址的數據報文能被封裝和轉發到另一個IP地址。IP隧道技術亦稱為IP封裝技術(IP encapsulation)。IP隧道主要用於移動主機和虛擬私有網絡(Virtual Private Network)，在其中隧道都是靜態建立的，隧道一端有一個IP地址，另一端也有唯一的IP地址。它的連接調度和管理與VS/NAT中的一樣，只是它的報文轉發方法不同。調度器根據各個服務器的負載情況，動態地選擇一臺服務器，將請求報文封裝在另一個IP報文中，再將封裝後的IP報文轉發給選出的服務器;服務器收到報文後，先將報文解封獲得原來目標地址為 VIP 的報文，服務器發現VIP地址被配置在本地的IP隧道設備上，所以就處理這個請求，然後根據路由表將響應報文直接返回給客戶。

技術分享圖片

二 LVS DR 模式介紹

DR模式也就是用直接路由技術實現虛擬服務器。它的連接調度和管理與VS/NAT和VS/TUN中的一樣，但它的報文轉發方法又有不同，VS/DR通過改寫請求報文的MAC地址，將請求發送到Real Server，而Real Server將響應直接返回給客戶，免去了VS/TUN中的IP隧道開銷。這種方式是三種負載調度機制中性能最高最好的，但是必須要求Director Server與Real Server都有一塊網卡連在同一物理網段上。Director和RealServer必需在物理上有一個網卡通過不間斷的局域網相連。 RealServer上綁定的VIP配置在各自Non-ARP的網絡設備上(如lo或tunl),Director的VIP地址對外可見，而RealServer的VIP對外是不可見的。RealServer的地址即可以是內部地址，也可以是真實地址。

技術分享圖片
具體實現過程為：
DR模式將報文直接路由給目標真實服務器。在DR模式中，調度器根據各個真實服務器的負載情況，連接數多少等，動態地選擇一臺服務器，不修改目標IP地址和目標端口，也不封裝IP報文，而是將請求報文的數據幀的目標MAC地址改為真實服務器的MAC地址。然後再將修改的數據幀在服務器組的局域網上發送。因為數據幀的MAC地址是真實服務器的MAC地址，並且又在同一個局域網。那麽根據局域網的通訊原理，真實復位是一定能夠收到由LB發出的數據包。真實服務器接收到請求數據包的時候，解開IP包頭查看到的目標IP是VIP。（此時只有自己的IP符合目標IP才會接收進來，所以我們需要在本地的回環借口上面配置VIP。另：由於網絡接口都會進行ARP廣播響應，但集群的其他機器都有這個VIP的lo接口，都響應就會沖突。所以我們需要把真實服務器的lo接口的ARP響應關閉掉。）然後真實服務器做成請求響應，之後根據自己的路由信息將這個響應數據包發送回給客戶，並且源IP地址還是VIP。

三 lvs DR 模式搭建

結構框圖如下
技術分享圖片

技術分享圖片
上圖是客戶端發過來的請求報文，我們知道DR模式中，LB和RS上都綁定了vip，那麽客戶是如何請求到LB而不是直接到RS呢？我們知道IP數據包其實是通過數據鏈路層發過來的，只要確定上面問號處的mac地址為LB的mac地址即可，如何辦到呢，這裏使用了ARP協議，簡單來說就是通過ip解析出mac地址的一個協議，我們把vip地址給廣播出去，具有此ip的機器就會回復自己的mac地址，然而這裏LB和RS均有vip，因此需要抑制住RS對於該vip地址的arp相應。這樣一來，就能確定唯一的LB mac 地址。
既然Load Balancer得到了這個IP數據包， 它就可以用某個策略從RS1, RS2,RS3中選取一個服務器，例如RS1（192.168.226.130），把IP數據報原封不動， 封裝成數據鏈路層的包（目的地是RS1的MAC地址），直接轉發就可以了，請看下圖

技術分享圖片
RS1（192.168.226.130）這個服務器收到了數據包，拆開一看，目的地IP是192.168.226.100，是自己的IP， 那就可以處理了。
處理完了以後，RS1可以直接響應發回給客戶端，完全不用再通過Load Balancer。因為自己的地址就是192.168.226.100。
對於客戶端來說，它看到的還是那個唯一的vip地址192.168.226.100， 並不知道後臺發生了什麽事情。
由於Load Balancer 根本不會修改IP數據報，其中的TCP的端口號自然也不會修改，這就要求RS1, RS2,RS3上的端口號必須得和Load Balancer一致才行
數據的流向為：
客戶端 --> Load Balancer --> RS --> 客戶端
下面跟據具體實例來理解整個過程
準備三臺機器
DIR ens33 192.168.226.129 ens37
RS1 ens33 192.168.226.130
RS2 ens33 192.168.226.131
指定vip 為 192.168.226.100，DIR vip 綁定在ens37 上，當然可以直接綁定一個虛擬網卡，比如ens33:2
以上每臺機器都需要一個公網ip
dir上編寫腳本 vim /usr/local/sbin/lvs_dr.sh //內容如下

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.226.100
rs1=192.168.226.130
rs2=192.168.226.131
#註意這裏的網卡名字
ifconfig ens37 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens37
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

兩臺rs上也編寫腳本 vim /usr/local/sbin/lvs_rs.sh//內容如下

#/bin/bash
vip=192.168.226.100
#把vip綁定在lo上，是為了實現rs直接把結果返回給客戶端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作為更改arp內核參數，目的是為了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

分別運行以上腳本後，在瀏覽器測試
技術分享圖片
刷新後
技術分享圖片

四 keepalived +lvs

之前我們試驗過lvs的nat 和dr 兩種模型的負載均衡，keepalived 不光可以基於vrrp（(Virtual Router Redundancy Protocol）協議實現高可用，他本身集成有lvs功能，可以實現負載均衡。下面我們用四臺機器做下實驗，基本拓撲結構如下
技術分享圖片
我們先準備四臺服務器
LB1 LB2 RS1 RS2
LB1 兩網卡 ：ens33 192.168.226.129
ens37 192.168.199.200
LB2 兩網卡：ens33 192.168.226.132
ens37 192.168.199.201
RS1 一網卡 ens33 192.168.226.130
RS2 一網卡 ens33 192.168.226.131
準備工作：
四臺機器都關閉selinux ，清空防火墻規則
兩臺調度器上安裝好keepalived,兩臺RS上安裝好web nginx
1 LB1 作為主調度器
編輯keepalived 配置文件
vim /etc/keepalived/keepalived.conf 

vrrp_instance VI_1 {
    //備用服務器上為 BACKUP
    state MASTER
    //綁定vip的網卡為ens37，
    interface ens37
    virtual_router_id 51
    //備用服務器上為90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass lvlinux
    }
    virtual_ipaddress {
        192.168.226.100
    }
}
virtual_server 192.168.226.100 80 {
   //(每隔10秒查詢realserver狀態)
    delay_loop 10
    //(lvs 算法)
    lb_algo wrr
    //(DR模式)
    lb_kind DR
    //(同一IP的連接60秒內被分配到同一臺realserver)
    persistence_timeout 60
    //(用TCP協議檢查realserver狀態)
    protocol TCP
    real_server 192.168.226.130 80 {
        //(權重)
        weight 100
        TCP_CHECK {
        //(10秒無響應超時)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.226.131 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}

備註：上面我們定義了vip 為192.168.226.100，並且綁定在網卡ens37
上
LB2 操作
vim /etc/keepalived/keepalived.conf

vrrp_instance VI_1 {
    //備用服務器上為 BACKUP
    state BACKUP
    //綁定vip的網卡為ens37
    interface ens37
    virtual_router_id 51
    //備用服務器上為90
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass lvlinux
    }
    virtual_ipaddress {
        192.168.226.100
    }
}
virtual_server 192.168.226.100 80 {
    //(每隔10秒查詢realserver狀態)
    delay_loop 10
    //(lvs 算法)
    lb_algo wrr
    //(DR模式)
    lb_kind DR
    //(同一IP的連接60秒內被分配到同一臺realserver)
      persistence_timeout 60    
    //(用TCP協議檢查realserver狀態)
    protocol TCP
    real_server 192.168.226.130 80 {
        #(權重)
        weight 100
        TCP_CHECK {
        #(10秒無響應超時)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.226.131 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}

也就是將state master 更改為backup ， priority 100 改為90
RS1 和RS2 上編輯腳本
vim /usr/local/sbin/lv_dr_rs.sh

#/bin/bash
vip=192.168.226.100
#把vip綁定在lo上，是為了實現rs直接把結果返回給客戶端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作為更改arp內核參數，目的是為了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

RS 上 sh 運行腳本後， 在LB1上和LB2上 啟動keepalived
ipvsadm -ln 查看RS鏈接狀態
ip add 查看vip 綁定情況
LB1上關閉keepalived 後發現，LB2上重新綁定了vip 接管了服務，在/var/log/messages中可以看到vrrp 主從變更
lB2 上ipvsadem -ln 查看RS鏈接狀態
關閉一臺RS nginx ,測試高可用

Linux學習總結（五十四）keepalived+lvs 雙機熱備負載均衡架構

相關推薦

Linux學習總結（五十四）keepalived+lvs 雙機熱備負載均衡架構

DR LVS keepalived+lvs 一 LVS IP tunnel 模式介紹 IP隧道(IP tunneling)是將一個IP報文封裝在另一個IP報文的技術，這可以使得目標為一個IP地址的數據報文能被封裝和轉發到另一個IP地址。IP隧道技術亦稱為IP封裝技術(IP encapsulatio

Linux學習總結（五十二）keepalived 配置高可用

keepalived 高可用 nginx 一 集群介紹 根據功能劃分為兩大類：高可用和負載均衡 高可用集群通常為兩臺服務器，一臺工作，另外一臺作為冗余，當提供服務的機器宕機，冗余將接替 繼續提供服務 實現高可用的開源軟件有：heartbeat、keepalived 負載均衡集群，需要有一臺服

Linux學習總結（三十四）lamp之用戶認證和域名跳轉

lamp 用戶認證 域名跳轉 訪問日誌 用戶認證 為了某些網站的安全需要，特意授權特定用戶訪問，因此產生了網站訪問的用戶認證機制。我們可以針對某個站點進行認證，也可以指定某個目錄，或者是一個文件。編輯虛擬主機配置文件：vim /usr/local/apache2.4/conf/extra/ht

Linux學習總結（五十一）mysql 主從配置

mysql主從一 mysql 主從介紹 mysql 主從又叫replication ，AB復制。簡單講就是A和B兩臺機器做主從後，在A上寫數據，另外一臺B也會跟著寫數據，兩者數據實時同步的。MySQL主從是基於binlog的，主上須開啟binlog才能實現 具體過程為：1）主將更改操作記錄在binlog裏2

Linux學習總結（五十六）監控zabbix部署 下篇

zabbix 監控 zabbix 應用舉例 一 添加自定義監控項目 我們舉一個實例：監控web服務器80端口的並發連接數，並設置圖形。1 . 寫一個可以抓取數據的腳本,在客戶端zabbix-agent 上創建腳本 vim /usr/local/sbin/estab.sh #!/bin/bash net

Linux學習總結（五十七） shell腳本1

shell 腳本 1 什麽shellshell是一種腳本語言 可以使用邏輯判斷、循環等語法可以自定義函數shell是系統命令的集合shell腳本可以實現自動化運維，能大大增加我們的運維效率2 shell腳本結構和執行方法開頭需要加#!/bin/bash以#開頭的行作為解釋說明腳本的名字以.sh結尾，

Linux學習總結（五十八）shell腳本2-邏輯判斷if

if case 1 三種基本if語句 格式1：if 條件 ; then 語句; fi #!/bin/bash a=5 if [ $a -gt 2 ]; then echo $a fi 執行結果為 5格式2：if 條件; then 語句; else 語句; fi #!/bin/bash a=5 if

Linux學習總結（五十九）shell 腳本3-for while 循環

shell 循環 for while 1 for 循環 語法： for 變量名 in 條件；do ...； done舉例1 #!/bin/bash sum=0 for i in `seq 1 100`;do sum=$[$sum+$i] done echo $sum 舉例2找到/123 目錄

Linux學習總結（六十四）expect腳本下

文件同步 需要 send roo expect腳本 腳本批量 工具 lin 遠程主機 一 文件分發系統 需求背景對於大公司而言，肯定時不時會有網站或者配置文件更新，而且使用的機器肯定也是好多臺，少則幾臺，多則幾十甚至上百臺。所以，自動同步文件是至關重要的。實現思路首先要有一

Linux學習總結（五十）tomcat 搭建zrlog

tomcat 虛擬主機 zrlog tomcat 日誌 1 配置tomcat監聽端口為80 編輯tomcat配置文件 vim /usr/local/tomcat/conf/server.xml Connector port="8080" protocol="HTTP/1.1"修改為Connec

Linux學習總結（五十五）監控zabbix部署 上篇

zabbix 中文亂碼 一 zabbix監控介紹 C/S架構，基於C++開發，監控中心支持web界面配置和管理單server節點可以支持上萬臺客戶端最新版本3.4，官方文檔https://www.zabbix.com/manuals5個組件zabbix-server 監控中心，接收客戶端上報信息，負責

Linux學習總結（二十一）正則三劍客之awk

awkawk 也是流式編輯器，它比sed的功能更強大 1.截取文檔中的某段 awk -F ‘:‘ ‘{print $1}‘ /etc/passwd |head -2-F 指定分割符，不指定以空格或者tab為分隔符print 為打印動作$1 為第一字段， $2 為第二字段，依次類推，$0標示整行那麽打印整個文檔

Linux學習筆記（二十四）管道符和作業控制、shell變量、環境變量配置文件

環境變量配置文件 管道符 一、管道符和作業控制cat 1.txt |wc -l ; cat 1.txt |grep ‘aaa‘將前面命令的結果輸入給後面的命令ctrl z 暫停一個任務、這時候任務隱藏到後臺，通過fg可以重新吊起任務到前臺運行jobs查看後臺的任務bg[id]把任務調到後臺fg[id]

Linux 學習總結（二十二） 系統管理技巧

w vmstat top sar nload 1 命令w 查看系統負載： USER —登錄的用戶名TTY —登錄後系統分配的終端號FROM—遠程主機名，即從哪兒登錄來的LOGIN—何時登錄IDLE—空閑了多長時間，表示用戶閑置的時間。這是一個計時器，一旦用戶執行任何操作，該計時器便會被

Linux學習總結（二十六）防火墻規則之firewalld

firewalld iptables 一iptables 規則備份 service iptables save //會把規則保存到/etc/sysconfig/iptables把iptables規則備份到my.ipt文件中iptables-save > my.ipt恢復剛才備份的規則 iptab

Linux學習總結（二十八） 數據同步工具 rsync

rsyncrsync是linux系統下的數據鏡像備份工具。使用快速增量備份工具Remote Sync可以遠程同步，支持本地復制，或者與其他SSH、rsync主機同步。 rsync格式 rsync [OPTION] … SRC DEST rsync [OPTION] … SRC [user@]host:

Linux學習總結（二十九）系統日誌

log dmesg last xargs screen 系統日誌記錄了系統每天發生的各種各樣的事情，比如檢測系統狀況，檢測服務的啟動狀況，用戶的登陸情況等。我們可以通過日誌找出某個錯誤發生的原因，或者追蹤到攻擊者留下的蛛絲馬跡。 1 /var/log/messages 它是核心系統日誌文件

Linux學習總結（三十一）lamp之mariadb apache 安裝

lamp mariadb apache httpd 一 mariadb 介紹 ?MySQL是一個關系型數據庫，由mysql ab公司開發，mysql在2008年被sun公司收購（10億刀），2009年sun公司被oracle公司收購（74億刀）? MySQL官網https://www.mysq

Linux學習總結（三十二）lamp之php安裝

php libphp5.so lamp PHP官網www.php.net當前主流版本為5.6/7.1 cd /usr/local/src/ wget http://cn2.php.net/distributions/php-5.6.30.tar.gz tar zxf php-5.6.30.tar

Linux學習總結（三十六）lamp之配置防盜鏈

lamp 防盜鏈 filematch 限制ip訪問 一配置防盜鏈 referer，中文釋義為來源，也就是在說網站從哪裏訪問過來，在訪問日誌裏，它指的是不同網站之間的跳轉鏈接信息。也就是跳轉源的網址。雖然直接在瀏覽器輸入某個站點，跟從其他網站打開該網站，我們感受到的效果沒有差別，但是服務器端會