高可用叢集--redhat

一、叢集結點與叢集管理

<1>選用兩臺虛擬機器作為叢集結點n1,n2

要求：兩臺虛擬機器須時間同步、互有解析，方便實驗，虛擬機器記憶體大小為為1024MB

1.先檢視時間是否同步，使用date命令

2.看解析檔案

3.配置yum源：企業六中自帶叢集元件

(1)映象掛載目錄下，檢視叢集元件

  cd  /var/www/html/rehl6.5

  ls  ##顯示內容如下:

(2)配置叢集結點的yum與源

  vim  /etc/yum.repos.d/rhel-source.repo

編輯後內容顯示如下：

       [rhel-source]

       name=RedHat Enterprise Linux $releasever - $basearch - Source

       baseurl=http://172.25.13.250/rhel6.5

       enabled=1

       gpgcheck=1

       gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

       [HighAvailability]  ##高可用

       name=HighAvailability

       baseurl=http://172.25.13.250/rhel6.5/HighAvailability

       gpgcheck=0

       [ResilientStorage]   ##儲存

       name=ResilientStorage

       baseurl=http://172.25.13.250/rhel6.5/ResilientStorage

       gpgcheck=0

       [LoadBalancer]             ##負載均衡

       name=LoadBalancer

       baseurl=http://172.25.13.250/rhel6.5/LoadBalancer

       gpgcheck=0

       [ScalableFileSystem]     ##大檔案系統

       name=ScalableFileSystem

       baseurl=http://172.25.13.250/rhel6.5/ScalableFileSystem

       gpgcheck=0

:wq

4.叢集結點下載叢集管理工具。所謂叢集管理工具不同與管理端，該工具須下載至每個叢集結點，而管理端可以不是叢集結點。

在兩臺配置相同的虛擬主機做如下相同操作：

(1)yum install  ricci  -y          ##安裝叢集管理工具

(2)passwd ricci    ##給叢集結點加密(一定在啟動管理工具前設定密碼)

(3)/etc/init.d/ricci  -y    ##啟動ricci

(4)chkconfig  ricci on      ##使開機自啟，監聽11111埠

<2>管理端配置

管理端一般不在叢集結點上，因為在建立本身所在主機為叢集結點時，可能會造成服響應過慢，還需注意在建立本機為叢集結點時，一定要設定luci服務為開機自啟

1.yum install  luci  -y

2/etc/init.d/luci  start   ##啟動服務

[[email protected] ~]# /etc/init.d/luci start

Start luci...                                             [  OK  ]

Point your web browser tohttps://server1:8084 (or equivalent) to access luci

##顯示內容中提示：luci監聽8084埠，訪問https://server1:8084可進行管理叢集結點

3.chkconfig  luci on          ##使開機自啟（若是管理端在某叢集結點上）

<3>測試，開啟瀏覽器訪問https://server1:8084--luci管理端監聽埠

1.選擇超戶登入

2.管理頁面顯示：add表示新增叢集結點至某個叢集，該叢集已經存在

Create表建立叢集

3.建立叢集

  Usethe Same Password for All Nodes：表示使用對所有結點同一密碼，注意此處的密碼非使用者密碼，根據表格資訊，因為之前設定的ricci密碼,ricc監聽11111埠。

 Download Packages：呼叫本地的yum源下載安裝包或更新

  UseLocally Installed Packages：使用本地已有的安裝包

 Reboot Nodes Before Joining Cluster：結點加入叢集前應先重啟

  Enable Shared Storage Support：支援共享儲存

 注意：在建立前一定要設定與ricci在同一主機的luci開機啟動。

4.建立過程需要等待，建立成功時，叢集結點的個組建工作狀態為Running

二、叢集命令方式

<一>高可用叢集原理<High  Availabilty>

   實際應用過程中，並不是所有的叢集結點都在工作，一般為某臺工作，其餘作為“熱備”：                

1.Corosync(心跳檢測)：檢測叢集結點是否正常，若停止“心跳”，rg組工作；

2.直連線通訊（交換機）：連線叢集結點的網絡卡介面；

3.Fence(電源交換機)：對某叢集結點先斷電，再重啟，使得記憶體資料不會重新整理至儲存系統。

4.rg組:(1)vip--可遷移地址，一定時未被佔用的ip地址，與lip無關；

     (2)filesystem--共享的、叢集的或是clvm的檔案系統；

     (3)service--服務

5.rg組工作方式：假設當前rg組工作在叢集結點1上，當node1掛掉時，rg組中的vip將filesystem遷移至另一叢集結點（“熱備”），因此rg組對外顯示的地址為vip，而非lip。

6.Fence（電源交換機）作用：

    首先了解“腦裂”：當結點間的通訊斷開，但叢集結點或服務本身正常時，此時叢集結點會競爭rg組，  若叢集結點同時對檔案系統進行操作，則會造成檔案系統毀壞，這種現象即為“腦裂”。

   上述現象，當結點間的通訊斷開，但叢集結點或服務本身正常時，交換機與fence電源交換機通訊，檢查另一結點是否還在執行，若還在執行，fence則對另一結點先進行斷電處理，然後叢集結點再重啟。

<二>fence配置

<1>安裝fence服務--物理主機

yum install fence-virtd-libvirt-0.3.2-2.el7.x86_64  ##後端連線元件

             fence-virtd-multicast-0.3.2-2.el7.x86_64  ##多播服務

            fence-virtd-0.3.2-2.el7.x86_64         ##virtd服務

<2>fence配置

1.fence_virtd  -c          ##建立fence

顯示內容解釋如下：

       Modulesearch path [/usr/lib64/fence-virt]:[enter]       ##選擇預設路徑

       Listenermodule [multicast]:[enter]       ##多播監聽方式，也可以安裝其他方式，本機僅安裝了multicast

       MulticastIP Address [225.0.0.12]:[enter]     ##組播ip，選擇預設(可更改，但同時需要更改叢集結點端)

       MulticastIP Port [1229]:[enter]    ##監聽埠，選擇預設1229

       Interface[virbr0]: br0           ##連線br0

       KeyFile [/etc/cluster/fence_xvm.key]:[enter]      ##該檔案用來檢驗叢集結點身份,選擇預設

       Backendmodule [libvirt]:[enter]   ##後端連線libvirtd

       Replace/etc/fence_virt.conf with the above [y/N]? y   ##配置內容會儲存至/etc/fence_virt.conf

2.mkdir /etc/cluster     ##建立key檔案目錄

 dd  if=/dev/urandom  of=/etc/cluster/fence_xvm.key  bs=128 count=1

  ##從隨即數urandom中擷取128位元組來生成key，一般先從urandom擷取，不夠時選擇random

3.systemctl restart  fence_virtd  ##生成key檔案後，一定重啟服務使key生效

4.scp /etc/cluster/fence_xvm.key  叢集結點ip:/etc/cluster

  ##叢集結點不需手動建立/etc/cluster，ricci服務會自動生成該目錄

5.systemctl stop  firewalld

 systemctl  disabled  firewalld        ##關閉火牆

<3>管理端新增fence裝置

1.選擇Fence  virt(Multicase Mode)多播模式。

2.新增fence裝置的過程：提交新增請求後，管理端會自動連線每個叢集結點:1111，將更改儲存至叢集結點的cd/etc/cluster/cluster.conf；

  該檔案的修改需要呼叫root許可權，所以若要刪除某叢集結點，不能僅從管理端remove，且需要修改叢集結點的配置檔案。

3.叢集結點的cman元件：基礎架構，實現物理機操作與叢集結點的對映。如圖所示物理機test1對應叢集結點server1，但fence裝置並不能識別test1即為server1的物理主機，所以需要對叢集結點作對映，使對內部叢集結點即為對物理機的操作。

##新增裝置，命名為vmfence

4.給每個結點新增fence  method：

新增fece裝置，實現fence對結點的管理：

其中，Domain：結點的物理主機名或者是UUID

5.檢視/etc/cluster/cluster.conf看生成結果：

<4>測試

1.如在server1端，執行：fence_node  server3   ##命令fence對server3立即斷電，然後重啟

2.ip link  set  eth0 down       ##關閉自身網絡卡，fence將會作用：先斷電，再重啟

<三>rg組的部署

<1>Failover  Domains--建立域

1.Prioritized   ##優先順序設定，數字越小級別越高，預設級別高的為資料接收方

2.Restricted    ##指定結點

3.No Failback

 ##選中該項表示：不回切

 ##回切解釋：如當n1掛掉，n2接管；當n1恢復後，資源回切至n1，使n1成為master，該機制下n2為“熱備”。一般在n1效能很好時可選擇回切，但回切可能發生資源損失：如丟包

4.自動更新設定至主配置檔案

<2>Resources

1.新增IP address，設定vip，注意一定是未被佔用的ip

2.新增服務，選擇script指令碼型別：資源切換所執行的指令碼。需要保證上述域中設定的每個結點主機均有該服務。(server1、server3)，如下選擇httpd服務：

<3>Service  Group：服務組/資源組

##Run Exclusive           表示執行獨佔，此處不選擇

<4>測試，訪問172.25.13.113或使用clustat檢視acpache服務工作於哪個結點