linux進階之pacemaker+corosync實現haproxy高可用

阿新 • • 發佈：2019-01-18

一、環境介紹

1. 系統環境

rhel6.5 selinux and iptables if disable
server1: 172.25.14.1 pacemaker + haproxy node1
server4: 172.25.14.4 pacemaker + haproxy node2
server2: 172.25.14.2 web1
server3:172.25..14.3 web2

2.前提條件

(因為之前有使用luci圖形管理工具搭建高可用叢集，所以在做本次實驗之前確保這三個服務關閉並且不能開機子、自啟動)
：：：chkconfig cman off
：：：chkconfig modclusterd off
：：：chkconfig ricci off
：：：/etc/init.d/ricci stop
：：：/etc/init.d/modclusterd stop
：：：/etc/init.d/cman

二、pacemaker介紹

Pacemaker是一個叢集資源管理器。它利用叢集基礎構件（OpenAIS 、heartbeat或corosync）提供的訊息和成員管理能力來探測並從節點或資源級別的故障中恢復，以實現群集服務（亦稱資源）的最大可用性。它可以做幾乎任何規模的叢集，並帶有一個強大的依賴模式，讓管理員能夠準確地表達群集資源之間的關係（包括順序和位置）。幾乎任何可以編寫的指令碼，都可以作為管理起搏器叢集的一部分。尤為重要的是Pacemaker不是一個heartbeat的分支，似乎很多人存在這樣的誤解。Pacemaker是CRM專案（亦名V2資源管理器）的延續，該專案最初是為heartbeat而開發，但目前已經成為獨立專案。

1. pacemaker 特點

1）主機和應用程式級別的故障檢測和恢復
2）幾乎支援任何冗餘配置
3）同時支援多種叢集配置模式
4）可以測試任何故障或群集的群集狀態

2. 關鍵組建

Pacemaker本身由四個關鍵元件組成:
•CIB (aka. 叢集資訊基礎)
•CRMd (aka. 叢集資源管理守護程序)
•PEngine (aka. PE or 策略引擎)
•STONITHd（心跳系統）

3. pacemaker的內部結構：

這裡寫圖片描述
stonithd：心跳系統

lrmd：本地資源管理守護程序。它提供了一個通用的介面支援的資源型別。直接呼叫資源代理（指令碼）

pengine：政策引擎。根據當前狀態和配置叢集計算的下一個狀態。產生一個過渡圖，包含行動和依賴關係的列表

cib：群集資訊庫。包含所有群集選項，節點，資源，他們彼此之間的關係和現狀的定義。同步更新到所有群集節點

crmd：叢集資源管理守護程序。主要是訊息代理的PEngine和LRM，還選舉一個領導者（DC）統籌活動（包括啟動/停止資源）的叢集

heartbeat：心跳訊息層

CCM：共識群整合員，心跳成員

4. corosync

Corosync是叢集管理套件的一部分，它在傳遞資訊的時候可以通過一個簡單的配置檔案來定義資訊傳遞的方式和協議。corosync可以實現故障檢測功能，發現存在問題的資源，同時也具有心跳檢測機制，檢測服務是否啟用，執行在每個節點上，多個節點之間通過組播的方式監測心跳。

三、安裝配置流程

1. server1和server4安裝配置haproxy，配置相同。配置方式可參考如下文章，不再贅述。

2. server1和server4安裝配置pacemaker,配置相同。我們以server1為例

1）安裝pacemaker
可以直接從映象中下載
yum 源配置：

[[email protected] ~]# cat /etc/yum.repos.d/yum.repo 
[rhel-source]
name=rhel-source
baseurl=http://172.25.14.250/rhel6.5
gpgcheck=0

[LoadBalancer]
name=LoadBalancer
baseurl=http://172.25.14.250/rhel6.5/LoadBalancer
gpgcheck=0

[HighAvailability]
name=HighAvailability
baseurl=http://172.25.14.250/rhel6.5/HighAvailability
gpgcheck=0

[ResilientStorage]
name=ResilientStorage
baseurl=http://172.25.14.250/rhel6.5/ResilientStorage
gpgcheck=0

[ScalableFileSystem]
name=ScalableFileSystem
baseurl=http://172.25.14.250/rhel6.5/ScalableFileSystem
gpgcheck=0

這裡寫圖片描述
2）安裝crmsh及其依賴包pssh
其可從如下網址中下載：https://pkgs.org/
crm：管理叢集的工具
crm的特性：
任何操作都需要commit提交後才會生效；
想要刪除一個資源之前需要先將資源停止；
可以用 help 獲取該命令的幫助；
與Linux命令列一樣，都支援TAB補全
這裡寫圖片描述
3）corosync的配置
[[email protected] ~]# cp /etc/corosync/corosync.conf.example /etc/corosync/corosync.conf
[[email protected] ~]# vim /etc/corosync/corosync.conf

bindnetaddr: 172.25.14.0  #心跳監聽網段
mcastaddr: 226.94.1.1  #約定的廣播地址，所有節點相同

這裡寫圖片描述

# corosync以外掛形式執行pacemaker
service {
        name: pacemaker
        ver: 0  #自動隨著corosync開啟
}

這裡寫圖片描述
每一個節點的/etc/corosync.conf都要相同，之後所有節點重啟corosync服務

3. 配置採集叢集

1）crm_verify -LV ##檢查crm的語句是否有錯


#關掉報錯
crm(live)configure# property stonith-enabled=false 
crm(live)configure# commit
[root@server1 ~]# crm_verify -LV
無報錯

Stonith 即shoot the other node in the head使Heartbeat軟體包的一部分，該元件允許系統自動地復位一個失敗的伺服器使用連線到一個健康的伺服器的遙遠電源裝置。Stonith裝置是一種能夠自動關閉電源來響應軟體命令的裝置
這裡寫圖片描述

#關閉叢集對節點數量的檢查，節點server1如果故障，節點server4收不到心跳請求，直接接管程式，保證正常執行，不至於一個節點崩掉而使整個叢集崩掉
crm(live)configure# property no-quorum-policy=ignore
crm(live)configure# commit

2）引數介紹

這裡寫圖片描述
cib #cib管理模組

resource #所有的資源都在這個子命令後定義：cleanup #清理資源狀態；refresh #LRM本地資源管理更新CIB（叢集資訊庫）

configure #編輯叢集配置資訊：show #顯示叢集資訊庫；edit #編輯叢集資訊庫物件（vim模式下編輯）；delete #刪除CIB物件；primitive #定義資源；monitor #對一個資源新增監控選項（如超時時間，啟動失敗後的操作）；group #定義一個組型別（將多個資源整合在一起）

node #叢集節點管理子命令：status #以xml格式顯示節點狀態資訊；show #命令列格式顯示節點狀態資訊；standby #模擬指定節點離線（standby在後面必須的FQDN）；online #節點重新上線；fence #隔離節點；delete #刪除一個節點

options #使用者優先順序

# 注：關於crm 其他詳細引數參考如下文件:
http://blog.chinaunix.net/uid-30212356-id-5345399.html

3）crm configure show ##檢視叢集的資訊

這裡寫圖片描述

4）新增虛擬IP

crm(live)configure# primitive vip ocf:heartbeat:IPaddr2 params ip=172.25.14.100 cidr_netmask=24 op monitor interval=30
crm(live)configure# commit

這裡寫圖片描述

5）新增服務haproxy

crm(live)configure# primitive haproxy lsb:haproxy op monitor interval=1min
crm(live)configure# commit

這裡寫圖片描述

6）新增資源組

crm(live)configure# group sunshine vip haproxy
crm(live)configure# commit

這裡寫圖片描述

7）高可用效能測試

# 叢集節點實時監控：
[root@server1 ~]# crm_mon

這裡寫圖片描述
表示，vip此時在server1上，server1執行 /etc/init.d/corosync stop,其變化如下：

8）新增fence裝置

真機：

安裝軟體fence-virtd-multicast、fence-virtd、fence-virtd-libvirt;
fence_virtd -c編寫新的fence資訊

安裝fence，選擇工作模式”multicast”，地址”225.0.0.12”，埠”1229”，family”ipv4”，網路interface”br0”，Backend module “libvirt”；

// 注：這裡br0是因為虛擬伺服器受主機控制的網絡卡是br0

生成128位的key，並將key傳送到套件叢集伺服器（server1，server4）的/etc/cluster目錄下，可以用file命令檢視這個key型別是資料

[[email protected] ~]# dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1

重新啟動fence_virtd；

這裡寫圖片描述

虛擬機器：

server1和server4上：
stonith_admin -I  ##檢驗fence，有fence_xvm就可以。這個命令用來檢視主機支援的代理型別，本次使用的是fence_xvm

這裡寫圖片描述

stonith_admin -M -a    fence_xvm    ##檢視fence_xvm

這裡寫圖片描述
新增fence資源，寫入叢集節點名和真實server的名字對映：

crm(live)configure# primitive vmfence stonith:fence_xvm params pcmk_host_map="server1:server1;server4:server4" op monitor interval=1min
crm(live)configure# property stonith-enabled=true // 開啟fence功能
crm(live)configure# commit

在server1和server4上設定corosync開機自啟： chkconfig corosync on
9）測試fence裝置
監控顯示：發現,fence裝置所在節點和正在執行的節點對立
這裡寫圖片描述

linux進階之pacemaker+corosync實現haproxy高可用

一、環境介紹

1. 系統環境

2.前提條件

二、pacemaker介紹

1. pacemaker 特點

2. 關鍵組建

3. pacemaker的內部結構：

4. corosync

三、安裝配置流程

1. server1和server4安裝配置haproxy，配置相同。配置方式可參考如下文章，不再贅述。

2. server1和server4安裝配置pacemaker,配置相同。我們以server1為例

3. 配置採集叢集

1）crm_verify -LV ##檢查crm的語句是否有錯

2）引數介紹

3）crm configure show ##檢視叢集的資訊

4）新增虛擬IP

5）新增服務haproxy

6）新增資源組

7）高可用效能測試

8）新增fence裝置

真機：

虛擬機器：

相關推薦