2. 程式人生 > >keepalive和腦裂問題

keepalive和腦裂問題

阿新 • • 發佈：2017-12-12
pro pst 1.8 定時 後來 原因 cat 之間 ges

keepalive

keepalive起初專門為lvs負載均衡軟件設計的，用來管理監控lvs集群系統中各個服務節點的狀態，後來又加入了可以實現高可用的vrrp功能。

keepalive軟件通過vrrp協議實現高可用功能的。VRRP（虛擬路由器冗余協議）目的就是為了解決靜態路由單點故障問題，競選機制來將路由的任務交給某臺VRRP路由器的，保證節點宕機，整個網絡可以不間斷的運行

　　Keepalived可以實現任意兩臺主機之間，例如Master和Backup主機之間的故障轉移和自動切換，這個主機可以是普通的不能停機的業務服務器，也可以是LVS負載均衡、Nginx反向代理這樣的服務器。

Keepalived高可用簡單原理

　　master端的vrrp路由器會一直發送vrrp廣播包，buckup會一直收到廣播包，buckup不會搶占master資源，在backup上會一直監聽，一旦收不到master的包，在多臺backup中優先級最高的就會搶占為master

keepalive服務的三個重要功能

　　1、 管理LVS負載均衡軟件

　　2、 實現對LVS集群節點健康檢查功能

　　3、 作為系統網絡服務的高可用功能

1、keepalive的配置文件

! Configuration File for keepalived
global_defs {                                     　　　　　　　  #全局定義
   notification_email {                      　　　　　　　　#出問題了收件人
       [email protected]
       [email protected]
       [email protected]
   }
   notification_email_from [email protected]        #發件人
   smtp_server 
 
192.168.200.1            　　　　　　　 #發件服務器地址
   smtp_connect_timeout 30              　　　　　　　#超時時間
   router_id LVS_DEVEL                　　　　　　　　   #唯一標識，不同機器不能一樣
}

vrrp_instance VI_1 {           　　　　　　　　　　　　#vrrp實例，名字可以自定義，與前面關鍵字空格隔開
    state MASTER                            　　　　　　　　 #標識是主還是備，一定要大寫
    interface eth0                              　　　　　　　　#默認的通信的接口，當vip不指定時，默認綁定它
    virtual_router_id 
 
51                     　　　　　　　　#實例的ID（主備必須一樣，同一文件唯一，0-255）
    priority 100                               　　　　　　　　  #真正確定誰優先地方，數字越大，級別越高，越先獲取資源，建議隔50
    advert_int 1                                　　　　　　　　 #心跳間隔
    authentication {                           　　　　　　　　#實例認證，主備一樣
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {                      #VIP地址
        192.168.200.16
        192.168.200.18/24 dev eth0 label eth0:1
    }
}

2、keepalive+nginx雙主實戰

2.1、nginx配置

在實際工作中有三個域名

www.etiantian.org

blog.etiantian.org

bbs.etiantian.org

它們的訪問量都很大，可以配置不同的ip來結合keepalived進行負載，先用兩個域名來測試：

10.0.0.3 www.etiantian.org

10.0.0.4 blog.etiantian.org

目地：在初始階段,兩不不同域名的服務跑在不同的機器上，（實際是互為主備的配置）

lb1:
10.0.0.3 www.etiantian.org
lb2:
10.0.0.4 blog.etiantian.org

keepaived沿用上面互為主備的配置

以下是nginx的配置（分別在兩臺lb上做）

所需要做的就是監聽ip

 [root@LB01 conf]# cat nginx.conf
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    upstream backend {
           server 172.16.1.8:80  weight=1;
           server 172.16.1.7:80  weight=1;
           check interval=3000 rise=2 fall=5 timeout=1000 type=http;
    }
    server {
        listen      10.0.0.3:80;   #這裏要監聽ip
        server_name  blog.etiantian.org;
        location / {
            proxy_pass http://backend;   #這加一定要加這個拋的字段，否則訪問就訪問成負載的主頁了
            include proxy.conf;
        }
        location /status {
            check_status;
            access_log off;
        }
    }
    server {
        listen      10.0.0.4:80;
        server_name  blog.etiantian.org;
        location / {
           proxy_pass http://backend;
           include proxy.conf;
        }
        location /status {
            check_status;
            access_log off;
        }
    }
}

2.2、keepalive配置文件

LB01：

[root@lb01 ~]# cat /etc/keepalived/keepalived.conf
global_defs {
   notification_email {
   490238852@qq.com
 }
   notification_email_from 490238852@qq.com
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_lb01
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
             10.0.0.3/24 dev eth0 label eth0:1 
      }
}
vrrp_instance VI_2 {
    state BACKUP
    interface eth0
    virtual_router_id 52
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
             10.0.0.4/24 dev eth0 label eth0:2
      }
}

LB02：

[root@lb02 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   notification_email {
        490238852@qq.com  
}
   notification_email_from 490238852@qq.com
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_lb02
}
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
       10.0.0.3/24 dev eth0 label eth0:1
    }
}
vrrp_instance VI_2 {
    state MASTER
    interface eth0
    virtual_router_id 52
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
       10.0.0.4/24 dev eth0 label eth0:2
    }
}

3、腦裂原因

一般來說腦裂問題有以下這幾種原因：

  1. 高可用服務器對之間心跳線鏈路發生故障，導致無法正常通信

心跳線壞了（包括斷了，老化）、

網卡及相關驅動壞了，IP配置及沖突問題（網卡直連）

心跳線之間的設備故障（網卡及交換機）、

仲裁的機器出現問題（才用仲裁的方案）

  1. 高可用服務器上開啟了iptables防火墻，阻止了心跳傳消息輸
  2. 高可用服務器上心跳網卡地址等信息配置不正確，導致發送心跳失敗
  3. 其他服務配置不當的原因，如心跳方式不同，心跳廣播沖突，軟件bug等

提示keepalive配置裏同一VRRP實例如果virtual_router_id兩端參數配置不一致，也會導致腦裂問題

4、腦裂方案

在實際生產環境中，我們從以下方面防止腦裂：

  1. 同時使用串行電纜和以太網電纜連接、同時使用兩條心跳線路，這樣一條線路斷了，另外一條還是好的，依然能傳送心跳消息
  2. 當檢查腦裂時強行關閉一個心跳節點（這個功能需要特殊設備支持，如stonith、fence）相當於備節點接收不到心跳消息，通過單獨的線路發送關機命令關閉主節點的電源
  3. 做好對腦裂的監控報警

解決常見方案：

  1. 如果開啟防火墻，一定要讓心跳消息通過，一般通過允許IP段的形式解決
  2. 可以拉一條以太網網線或者串口線作為主被節點心跳線路的冗余
  3. 開發檢測程序通過監控軟件檢測腦裂

5、nginx配置文件監聽的網卡上不存在IP地址問題

報錯：

[root@LB01 conf]# /application/nginx/sbin/nginx -t

nginx: the configuration file /application/nginx-1.6.3/conf/nginx.conf syntax is ok
nginx: [emerg] bind() to 10.0.0.4:80 failed (99: Cannot assign requested address)
nginx: configuration file /application/nginx-1.6.3/conf/nginx.conf test failed

配置好後，出現無法綁定ip10.0.0.4：80，這是由於本地沒有這個ip造成的，而這個ip是需要keepalived來生的，這樣就無法進行配置nginx。

解決方法：

echo ‘net.ipv4.ip_nonlocal_bind = 1‘ >> /etc/sysctl.conf
sysctl -p #生效

通過這個命令，系統就允許配置一個當前不存在的輔助ip

[root@LB01 ~]# /application/nginx/sbin/nginx -s stop   #平滑重啟沒用，要關掉重啟
[root@LB01 ~]# /application/nginx/sbin/nginx
[root@LB01 ~]# netstat -ntpl|grep nginx
tcp        0      0 10.0.0.4:80                 0.0.0.0:*                   LISTEN      7431/nginx         
tcp        0      0 10.0.0.3:80                 0.0.0.0:*                   LISTEN      7431/nginx

用來訪問的機器上做解析訪問檢查

vim /etc/hosts

10.0.0.3 www.etiantian.org

10.0.0.4 blog.etiantian.org

用戶在進行訪問體驗是沒有什麽不同的，web服務器也沒有一點變動，只是實現了負載均衡器流量的分流，

這樣做的好處是平均負載的壓力，但是註意的是負載的能力，因為當其中一臺宕機了，另一臺馬上起另一個vip接管資源，壓力太大就是雪崩。

6、開發監聽腦裂的腳本

keepalived是服務器級別的，只監控服務器，nginx宕機了，是沒有辦法接管的

cat /server/scripts/check_nginx_by_keep.sh
#!/bin/sh
while true
do
 if [ `netstat -lntup|grep nginx|wc -l` -ne 1 ];then
    /etc/init.d/keepalived stop
 fi
  sleep 5
done

當負載器上出現nginxr的監聽ip大於1時（或寫做-eq 0 ，即等於0時），就殺掉keepalived進程，這樣來實現web服務如nginx掛掉接管資源

7、指定日誌輸出文件

1、/etc/sysconfig/keepalived
修改為　　KEEPALIVED_OPTIONS="-D -d -S 0"

2、/etc/rsyslog.conf

修改為　　*.info;mail.none;authpriv.none;cron.none;local0.none /var/log/messages
最後加　　local0.* /var/log/keepalived.log
3、重啟
/etc/init.d/rsyslog restart
/etc/init.d/keepalived restart

keepalive和腦裂問題

相關推薦

keepalive和腦裂問題

pro pst 1.8 定時 後來 原因 cat 之間 ges keepalive keepalive起初專門為lvs負載均衡軟件設計的，用來管理監控lvs集群系統中各個服務節點的狀態，後來又加入了可以實現高可用的vrrp功能。 keepal

Zookeeper和分散式環境中的假死腦裂問題

最近和同事聊天無意間發現他們的系統也存在腦裂的問題。想想當初在我們的系統中為了解決腦裂花了非常大的功夫，現在和大家一起討論下腦裂，假死等等這些問題和解決的方法。 在一個大叢集中往往會有一個master存在，在長期執行過程中不可避免的會出現宕機等問題導致master不可用，在出現這樣的情況以後往往

Zookeeper和分散式環境中的假死腦裂問題（轉發）

最近和同事聊天無意間發現他們的系統也存在腦裂的問題。想想當初在我們的系統中為了解決腦裂花了非常大的功夫，現在和大家一起討論下腦裂，假死等等這些問題和解決的方法。 在一個大叢集中往往會有一個master存在，在長期執行過程中不可避免的會出現宕機等問題導致master不可用，

keepalived中的腦裂

主動 雙線 高可用 網關 冗余 永遠 兩個 釋放 keepalive 在高可用（HA）系統中，當聯系2個節點的“心跳線”斷開時，本來為一整體、動作協調的HA系統，就分裂成為2個獨立的個體。由於相互失去了聯系，都以為是對方出了故障。兩個節點上的

TCP連接探測中的Keepalive和心跳包

代碼結構 article 自帶 斷開 結構 連接 防火墻 不用 內部 轉載：http://blog.csdn.net/aa2650/article/details/17027845 1. TCP保活的必要性 1) 很多防火墻等對於空閑socket自動關閉 2) 對於非正常斷

TCP的keepalive和應用層的heart

需求 還要 服務 可用 但是 http 空閑 變化 字節 從長鏈接說起 TCP是長鏈接的，也就是說連接建立後，及時數年沒有通信連接仍然存在。這樣做的好處是：免去了DNS解析的時間，連接建立等時間，大大加快了請求的速度，同時也有利於接受服務器的實時消息。但前提是連接可用。 T

說說Keepalived的腦裂

HA 腦裂 1. 工作場景Keepalived提供了Loadbalancing和High-Availability的功能, 本文說的是其為2個Mycat節點提供HA功能的場景.2. 關鍵配置如下, 為主備非搶占模式.! mycat01, 192.168.4.196global_defs { #

keepalived腦裂問題查找

use html pro board tle plain 無法 題解 -a 在自己環境做keepalived+redis實驗時，當重啟了備用redies機器後，發現兩臺redies主機都拿到了VIP [plain] view plain copy [roo

rabbitmq 腦裂(網絡分區)

.net detail 配置 blog rabbitmq TP 產生 tails 分區 1、產生的原因 https://blog.csdn.net/zyz511919766/article/details/45198055 2、相關配置、如何規避 https://blog.

keepalived 功能 、原理、腦裂

簡介： keepalived設計之初是專為LVS負載均衡軟體設計的，用來管理和監控LVS集群系統中的各個服務節點狀態，，後來加入實現高可用的VRRP功能。通過vrrp協議實現高可用功能的 常用的功能 管理LVS負載均衡軟體 對LVS叢集節點健康檢查功能

drbd腦裂處理

split brain實際上是指在某種情況下，造成drbd的兩個節點斷開了連線，都以primary的身份來執行。當drbd某 primary節點連線對方節點準備傳送資訊的時候如果發現對方也是primary狀態，那麼會會立刻自行斷開連線，並認定 當前已經發生split brain了，這時候他會在系統日

淺談長連接keepalive和套接字重用reuse對高並發的影響

細節 並不會 rift 兩個 千萬 也會 keepalive 是否 sdk 做采集系統有兩年了，第一年主要的設計和代碼邏輯是別人寫的。但是問題很多。 第二年真正由我接手後，修復了大量的業務邏輯。 遇到的一個核心問題就是數據丟失。最近客戶也在問我采集上報的機制，是否使用長

Yarn ResourceManager進行主從切換時發生腦裂原因分析

Brain Split 事故 時間先後順序： ResourceManager同zookeeper通訊，發生異常： 2018-10-19 09:17:49,981 INFO org.apache.hadoop.yarn.server.resourcemanage

19-05、redis哨兵主備切換的資料丟失問題：非同步複製、叢集腦裂

1、兩種資料丟失的情況 主備切換的過程，可能會導致資料丟失。 （1）非同步複製導致的資料丟失 因為master -> slave的複製是非同步的，所以可能有部分資料還沒複製到slave，master就宕機了，此時這些部分資料就丟失了。 非同步複製導致的資料丟失問題.png

elasticsearch的腦裂問題

我們都遇到過這個 - 在我們開始準備一個elasticsearch叢集的時候，第一個問題就是“叢集需要有多少節點？”。我想大家都知道，這個問題的答案取決於很多因素，例如期望的負載，資料大小，硬體等。這篇博文不會深入解釋如何調整叢集大小的細節，而是去關注另一個同樣重要的事情 - 如何避免腦裂問題。

Elasticsearch分片/腦裂/優化

Elasticsearch分片 預設是randomize across shards 隨機選取，表示隨機的從分片中取資料 _local：指查詢操作會優先在本地節點有的分片中查詢，沒有的話再在其它節點查

Zookeeper已經分散式環境中的假死腦裂

Zookeeper簡介 在上班之前都不知道有這樣一個東西，在開始說假死腦裂之前先說說Zookeeper吧。 Zookeeper zookeeper是一個分散式應用程式的協調服務。它是一個為分散式應用提供一致性服務的軟體，提供的效能包括：配置維護、名字服

利用keepalive和timeout來判斷死連線

問題是這樣出現的，        操作：客戶端正在向服務端請求資料的時候，突然拔掉客戶端的網線。        現象：客戶端死等，服務端socket一直存在。 在網上搜索後，需要設定KEEPALIVE屬性。 於是就在客戶端和服務端都設定了KEEPALIVE屬性。 程式碼

什麼是高可用HA(High Availability)“腦裂"

在涉及到高可用性時，經常會聽到”腦裂“，到底啥是”腦裂“？ 一句話：當兩（多）個節點同時認為自已是唯一處於活動狀態的伺服器從而出現爭用資源的情況，這種爭用資源的場景即是所謂的“腦裂”（split-b

腦裂是什麼？Zookeeper是如何解決的？

什麼是腦裂 腦裂(split-brain)就是“大腦分裂”，也就是本來一個“大腦”被拆分了兩個或多個“大腦”，我們都知道，如果一個人有多個大腦，並且相互獨立的話，那麼會導致人體“手舞足蹈”，“不聽使喚”。 腦裂通常會出現在叢集環境中，比如ElasticSearch、Zookeeper叢集，而這些叢集環境有一個