1.GFS介紹

GFS簡要說明，它有兩種：

1. Google檔案系統：GFS是GOOGLE實現的是一個可擴充套件的分散式檔案系統，用於大型的、分散式的、對大量資料進行訪問的應用。它運行於廉價的普通硬體上，但可以提供容錯功能。它可以給大量的使用者提供總體效能較高的服務。欲瞭解更多，可以訪問：http://baike.baidu.com/item/GFS/1813072

2. Redhat 的GFS（Global File System）

GFS（Global File System）自己以本地檔案系統的形式出現。多個Linux機器通過網路共享儲存裝置，每一臺機器都可以將網路共享磁碟看作是本地磁碟，如果某臺機器對 某個檔案執行了寫操作，則後來訪問此檔案的機器就會讀到寫以後的結果。可以根據對效能或是可擴充套件性，或者以經濟性多個原則進行不同方案的部署。

GFS 主要元件，叢集卷管理，鎖管理，叢集管理，圍欄和恢復，叢集配置管理。

本文主要介紹Redhat的GFS系統。

REDHAT CLUSTER SUITEWITH GFS :

RHCS（REDHAT CLUSTER SUITE）是一款能夠提供高效能、高可靠性、負載均衡、高可用性的叢集工具集,一個叢集通常有兩個或兩個以上的計算機（稱為“節點”或”成員“）共同執行一個任務。

RHCS主要元件：

• 叢集架構:

提供一個基本功能使節點作為叢集工作在一起：配置檔案管理，成員關係管理，鎖管理和柵裝置。

• 高可用性管理：

提供節點失敗轉移服務，當一個節點失敗後將服務轉移到另一個節點上。

• 叢集管理工具：

通過配置和管理工具來配置和管理Red Hat叢集。

• Linux Virtual Server (LVS)

LVS提供一個基於IP的負載均衡功能，通過LVS可以將客戶請求均勻的分配到叢集節點上。

其它Red Hat叢集元件：

• Cluster Logical Volume Manager (CLVM)

提供邏輯卷管理叢集儲存。

• 叢集管理器：

CMAN是一個分散式叢集管理器（DLM），它執行在每一個叢集節點上，CMAN通過監視叢集節點提供一個法定節點數（quorum），當叢集 中有多於一半的節點處於活躍狀態時,此時符合法定節點數，叢集繼續可用，當只有有一半或少於一半的節點處於活躍狀態是則已達到不到法定節點數，此時整個集 群變得不可用。CMAN通過監控叢集中節點來確定各節點的成員關係，當叢集中的成員關係發生改變，CMAN會通架構中其它元件來進行相應的調整。

• DLM鎖管理：

分散式鎖管理器，它執行在所有的叢集節點上，鎖管理是一個公共的基礎結構，為叢集提供一種共享叢集資源的管理機制，GFS通過鎖管理器使用鎖機制來同步訪問檔案系統元資料，CLVM通過鎖管理器來同步更新資料到LVM卷和卷組。

• 資料的完整保證：

RHCS 通過 Fence裝置從共享儲存切斷失效節點的I/O以保證資料的完整性。當CMAN確定一個節點失敗後，它在叢集結構中通告這個失敗的節點（組播），fenced程序會將失敗的節點隔離，以保證失敗節點不破壞共享資料。

REDHAT叢集配置系統：

叢集配置檔案：(/etc/cluster/cluster.conf) 是一個XML檔案，用來描述下面的叢集特性。

叢集名稱:列出叢集名稱、叢集配置檔案版本和一個隔離時間，隔離相應時間當一個新節點加入或從叢集中隔離時。

叢集:列出叢集中的每一個節點，指定節點名稱，節點ID，法定投票數，和柵模式。

fence裝置:定義fence裝置。

管理資源:定義建立叢集服務需要的資源。管理資源包括失敗轉移域，資源和服務。

2.GFS搭建

設定環境如下，兩節點操作共享檔案：

• 192.168.10.11 test01
• 192.168.10.12 test02
• OS：CentOS6.8 64位
• VMware共享磁碟一塊

以下操作如非特別註明，則需要在所有的節點上執行。

2.1配置網路

編輯hosts檔案，使兩節點間可通過主機名訪問：

# more /etc/hosts
127.0.0.1   localhost localhost.localdomain
::1         localhost localhost.localdomain
192.168.10.11 test01
192.168.10.12 test02

2.2安裝叢集檔案系統相關的軟體包

使用yum安裝軟體包：

# yum install cman openais gfs* kmod-gfs lvm2* rgmanager system-config-cluster scsi-target-utils cluster-snmp

上述軟體包有眾多的依賴包會被安裝或更新，為避免出現意外情況，建議軟體包安裝後重啟。

2.3配置iptables

允許test01和test02相互通訊

test01配置檔案/etc/sysconfig/iptables新增：

-A INPUT -s 192.168.10.12 -j ACCEPT

test02配置檔案/etc/sysconfig/iptables新增：

-A INPUT -s 192.168.10.11 -j ACCEPT

2.4修改相關配置

修改/etc/sysconfig/selinux中selinux=disabled

修改lvm邏輯卷配置：

# vi /etc/lvm/lvm.conf

將locking_type = 1，改為locking_type = 3，允啟用同時讀寫。

修改fallback_to_local_locking=0，以禁止回寫，避免導致裂腦。

2.5生成叢集配置檔案

[[email protected] ~]# ccs_tool create GFSmail
[[email protected] ~]# ccs_tool addfence meatware fence_manual
[[email protected] ~]# ccs_tool lsfence
Name             Agent
meatware         fence_manual
[[email protected] ~]# ccs_tool addnode -n 11 -f meatware test01
[[email protected] ~]# ccs_tool addnode -n 12 -f meatware test02
[[email protected] ~]# ccs_tool lsnode
Cluster name: GFSmail, config_version: 4
Nodename                        Votes Nodeid Fencetype
test01                      1   11    meatware
test02                      1   12    meatware
[[email protected] ~]#
[[email protected] ~]# rsync -avz /etc/cluster/

/etc/cluster/cluster.conf

[[email protected] data]# cat /etc/cluster/cluster.conf
<?xml version="1.0"?>
<cluster name="GFSmail" config_version="4">

  <clusternodes>
  <clusternode name="test01" votes="1" nodeid="11"><fence><method name="single"><device name="meatware"/></method></fence></clusternode><clusternode name="test02" votes="1" nodeid="12"><fence><method name="single"><device name="meatware"/></method></fence></clusternode></clusternodes>

  <fencedevices>
  <fencedevice name="meatware" agent="fence_manual"/></fencedevices>

  <rm>
    <failoverdomains/>
    <resources/>
  </rm>
</cluster>

而後可以執行ccs_config_validate命令檢查配置檔案是否合法。

2.6建立叢集儲存

先手動啟動cman和clvmd命令，以便監控叢集卷的中儲存裝置的狀態：

# service cman start

# service clvmd start

# service rgmanager start

以下操作在節點1端執行：

建立物理卷和卷組和邏輯卷：

[[email protected] ~]# pvcreate /dev/sdb

  Physical volume "/dev/sdb" successfully created

[[email protected] ~]# vgcreate mailcluster /dev/sdb

  Clustered volume group "mailcluster" successfully created

[[email protected] ~]# pvs

  PV         VG          Fmt  Attr PSize   PFree

  /dev/sda2  vg_mail     lvm2 a--u 199.41g    0

  /dev/sdb   mailcluster lvm2 a--u   4.00t 4.00t

[[email protected] ~]# lvcreate -n maildata -l 100%FREE mailcluster

  Logical volume "maildata" created.

[[email protected] ~]# lvs

  LV       VG          Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert

  maildata mailcluster -wi-a-----   4.00t

  home     vg_mail     -wi-ao----  80.00g

  root     vg_mail     -wi-ao---- 115.41g

  swap     vg_mail     -wi-ao----   4.00g

[[email protected] ~]#

2.7在新建的邏輯捲上建立gfs2檔案系統：

[[email protected] ~]# mkfs.gfs2 -j 2 -p lock_dlm -t GFSmail:maildata /dev/mapper/mailcluster-maildata

This will destroy any data on /dev/mapper/mailcluster-maildata.

It appears to contain: symbolic link to `../dm-3'

Are you sure you want to proceed? [y/n] y

Device:                    /dev/mapper/mailcluster-maildata

Blocksize:                 4096

Device Size                4096.00 GB (1073740800 blocks)

Filesystem Size:           4096.00 GB (1073740798 blocks)

Journals:                  2

Resource Groups:           8192

Locking Protocol:          "lock_dlm"

Lock Table:                "GFSmail:maildata"

UUID:                      50e12acf-6fb0-6881-3064-856c383b51dd

[[email protected] ~]#

對於mkfs.gfs2命令來說，我們所使用的引數功能如下：

-p：用來指定gfs的鎖機制，一般情況下會選擇lock_dlm；

-j：指定journal個數(可加入節點數)，一般情況下應留有冗餘，否則後期還得再調整；

檢視journals：# gfs2_tool journals /home/coremail/var

增加journals：# gfs2_jadd -j 1 /home/coremail/var ##增加一個journals

-t：格式為ClusterName:FS_Path_Name

ClusterName：應與前面cluster.conf中指定的叢集名稱相同（上文為：GFSmail）；

FS_Path_Name：這個塊裝置mount的路徑（上文為：maildata）；

最後一個引數是指定邏輯卷的詳細路徑；

2.8GFS掛載

建立目錄：

[[email protected] ~]# mkdir /home/coremail/var

將剛剛建立的邏輯卷加入到/etc/fstab檔案中，使其開機自動對映：

[[email protected] ~]# echo "/dev/mapper/mailcluster-maildata  /home/coremail/var            gfs2    defaults,noatime,nodiratime,noquota        0 0" >> /etc/fstab

啟動gfs2服務：

[[email protected] ~]# /etc/init.d/gfs2 start

節點2端執行：

操作前可以先執行pvs,lvs命令，看看是否能夠正常顯示節點1端建立的物理卷和邏輯卷資訊，如果看不到(先嚐試lvscan)，則說明並未使用共享儲存，或者配置有異常，仍然需要排查，需要等問題解決後，再執行下列的命令。

[[email protected] ~]# mkdir /home/coremail/var

[[email protected] ~]# echo "/dev/mapper/mailcluster-maildata  /home/coremail/var            gfs2    defaults,noatime,nodiratime,noquota        0 0" >> /etc/fstab

[[email protected] ~]# /etc/init.d/gfs2 start

執行# clustat可以查詢各成員節點的狀態。

[[email protected] ~]# clustat

Cluster Status for GFSmail @ Thu Nov  3 23:17:24 2016

Member Status: Quorate

 Member Name                                       ID   Status

 ------ ----                                       ---- ------

 test01                                         11 Online

 test02                                         12 Online, Local

[[email protected] ~]#

2.9在所有節點操作，配置服務的自動啟動，這樣就不必擔心伺服器重啟了：

# chkconfig --add cman

# chkconfig --add clvmd

# chkconfig --add gfs2

# chkconfig --add rgmanager

# chkconfig --level 345 cman on

# chkconfig --level 345 clvmd on

# chkconfig --level 345 gfs2 on

# chkconfig --level 345 rgmanager on