一、企業群集應用概述

群集的含義 Cluster，叢集、群集 由多臺主機構成，但對外只表現為一個整體 1.1 群集的三種類型 負載均衡群集、高可用群集和高效能運算群集。 1.1 負載均衡群集 提高應用系統的響應能力、儘可能處理更多的訪問請求、減少延遲為目標，獲得高併發、高負載（LB）的整體效能 LB的負載分配依賴於主節點的分流演算法 1.2 高可用群集 提高應用系統的可靠性、儘可能地減少中斷時間為目標，確保服務的連續性，達到高可用（HA）的容錯效果 HA的工作方式包括雙工和主從兩種模式 1.3 高效能運算群集 提高應用系統的CPU運算速度、擴充套件硬體資源和分析能力為目標，獲得相當於大型、超級計算機的高效能運算（HPC）能力 高效能依賴於“分散式運算”、“平行計算”，通過專用硬體和軟體將多個伺服器的CPU、記憶體等資源整合在一起，實現只有大型、超級計算機才具備的計算能力 1.2 負載均衡結構 第一層，負載排程器（Load Balancer或Director） 第二層，伺服器池（Server Pool） 第三層，共享儲存（Share Storage） 1.3 負載均衡群集工作模式 負載均衡群集是目前企業用得最多的群集型別 群集的負載排程技術有三種工作模式 （NAT）地址轉換 （TUN）IP隧道 （DR）直接路由 (1) NAT模式——地址轉換 Network Address Translation，簡稱NAT模式； 類似於防火牆的私有網路結構，負載排程器作為所有伺服器節點的閘道器，即作為客戶機的訪問入口，也是各節點回應客戶機的訪問出口； 伺服器節點使用私有IP地址，與負載排程器位於同一個物理網路，安全性要優於其他兩種方式。 (2) TUN模式——IP隧道 IP Tunnel，簡稱TUN模式； 採用開放式的網路結構，負載排程器僅作為客戶機的訪問入口，各節點通過各自的Internet連線直接回應客戶機，而不再經過負載排程器； 伺服器節點分散在網際網路中的不同位置，具有獨立的公網IP地址，通過專用IP隧道與負載排程器相互通訊。 (3) DR模式——直接路由 Direct Routing，簡稱DR模式 採用半開放式的網路結構，與TUN模式的結構類似，但各節點並不是分散在各地，而是與排程器位於同一個物理網路 負載排程器與各節點伺服器通過本地網路連線，不需要建立專用的IP隧道 1.4 關於LVS虛擬伺服器 Linux Virtual Server 是針對 Linux 核心開發的一個負載均衡專案，由我國的章文嵩 博士在 1998 年 5 月建立，官方站點位於 http://www.linuxvirtualserver.org/。LVS 實際 上相當於基於 IP 地址的虛擬化應用，為基於 IP 地址和內容請求分發的負載均衡提出了一種 高效的解決方法。 LVS 現在已成為 Linux 核心的一部分，預設編譯為 ip_vs 模組，必要時能夠自動呼叫。 在 CentOS 7 系統中，以下操作可以手動載入 ip_vs 模組，並檢視當前系統中 ip_vs 模組的 版本資訊。 1.4.1 LVS 的負載排程演算法 針對不同的網路服務和配置需要，LVS 排程器提供多種不同的負載排程演算法，其中最常用的四種演算法是輪詢、加權輪詢、最少連線和加權最少連線。 輪詢（Round Robin）：將收到的訪問請求按照順序輪流分配給群集中的各節點，均 等地對待每臺伺服器，而不管伺服器實際的連線數和系統負載。 加權輪詢（Weighted Round Robin）：根據排程器設定的權重值來分發請求，權重 值高的節點優先獲得任務並且分配的請求越多，這樣可以保證效能高的節點承擔更 多請求。 最少連線（Least Connections）：根據真實伺服器已建立的連線數進行分配，將收 到的訪問請求優先分配給連線數最少的節點。如果所有的伺服器節點效能相近，採 用這種方式可以更好地均衡負載。 加權最少連線（Weighted Least Connections）：在伺服器節點的效能差異較大的 情況下，排程器可以根據節點伺服器負載自動調整權重，權重較高的節點將承擔更 大比例的活動連線負載。 1.4.2 使用 ipvsadm 管理工具 ipvsadm 是在負載排程器上使用的 LVS 群集管理工具，通過呼叫 ip_vs 模組來新增、刪 除 服 務器 節 點 ，以 及 查 看 群集 的 運 行狀 態 。 在 CentOS 7 系 統 中 ， 需 要 手動 安裝 ipvsadm.x86_64 0:1.27-7.el7 軟體包。 [root@localhost ~]# yum -y install ipvsadm [root@localhost ~]# ipvsadm -v ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1) LVS 群集的管理工作主要包括建立虛擬伺服器、新增伺服器節點、檢視群集節點狀態、 刪除伺服器節點和儲存負載分配策略。 ipvsadm 工具選項說明： 選項 解釋 -A 新增虛擬伺服器 -D 刪除整個虛擬伺服器 -s 指定負載排程演算法（輪詢：rr、加權輪詢：wrr、最少連線：lc、加權最少連線：wlc） -a 表示新增真實伺服器（節點伺服器） -d 刪除某一個節點 -t 指定 VIP地址及 TCP埠 -r 指定 RIP地址及 TCP埠 -m 表示使用 NAT群集模式 -g 表示使用 DR模式 -i 表示使用 TUN模式 -w 設定權重（權重為 0 時表示暫停節點） -p 60 表示保持長連線60秒 -l 列表檢視 LVS 虛擬伺服器（預設為檢視所有） -n 以數字形式顯示地址、埠等資訊，常與“-l”選項組合使用。ipvsadm -ln

二、NAT模式 LVS負載均衡群集部署

2.1 NAT模式 LVS負載均衡群集部署操作步驟（理論） 實驗環境準備： 負載排程器：內閘道器 ens33：192.168.153.40，外閘道器 ens37：12.0.0.1 Web節點伺服器1：192.168.153.60 Web節點伺服器2：192.168.153.50 NFS伺服器：192.168.153.70 客戶端：12.0.0.12 1.部署共享儲存（NFS伺服器：192.168.153.70） systemctl stop firewalld.service systemctl disable firewalld.service setenforce 0 yum install nfs-utils rpcbind -y systemctl start rpcbind.service systemctl start nfs.service systemctl enable rpcbind.service systemctl enable nfs.service mkdir /opt/accp/ /opt/benet/ chmod 777 /opt/kgc /opt/benet echo 'this is accp web!' > /opt/kgc/index.html echo 'this is benet web!' > /opt/benet/index.html vim /etc/exports /opt/accp 192.168.153.0/24(rw,sync) /opt/benet 192.168.153.0/24(rw,sync) --釋出共享--- exportfs -rv 2.配置節點伺服器（192.168.80.10、192.168.80.20） ens33閘道器需要設定為閘道器伺服器 systemctl stop firewalld.service systemctl disable firewalld.service setenforce 0 yum install httpd -y systemctl start httpd.service systemctl enable httpd.service yum install nfs-utils rpcbind -y showmount -e 192.168.80.30 systemctl start rpcbind.service systemctl start nfs.service systemctl enable rpcbind.service systemctl enable nfs.service --192.168.80.10--- mount.nfs 192.168.80.30:/opt/kgc /var/www/html vim /etc/fstab 192.168.80.30:/opt/kgc /myshare nfs defaults,_netdev 0 0 另一臺節點伺服器掛載如下： --192.168.80.20--- mount.nfs 192.168.153.70:/opt/benet /var/www/html vim /etc/fstab 192.168.80.30:/opt/benet /myshare nfs defaults,_netdev 0 0 3.配置負載排程器（內閘道器 ens33：192.168.80.1，外閘道器 ens36：12.0.0.1） systemctl stop firewalld.service systemctl disable firewalld.service setenforce 0 （1）配置SNAT轉發規則 vim /etc/sysctl.conf net.ipv4.ip_forward = 1 #新增ip路由轉發 或 echo '1' > /proc/sys/net/ipv4/ip_forward sysctl -p iptables -t nat -F iptables -F iptables -t nat -A POSTROUTING -s 192.168.153.0/24 -o ens36 -j SNAT --to-source 12.0.0.1 （2）載入LVS核心模組 modprobe ip_vs #載入 ip_vs模組 cat /proc/net/ip_vs #檢視 ip_vs版本資訊 ##載入全部模組 for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done （3）安裝ipvsadm 管理工具 yum -y install ipvsadm --啟動服務前須儲存負載分配策略--- ipvsadm-save > /etc/sysconfig/ipvsadm 或者 ipvsadm --save > /etc/sysconfig/ipvsadm systemctl start ipvsadm.service （4）配置負載分配策略（NAT模式只要在伺服器上配置，節點伺服器不需要特殊配置） ipvsadm -C #清除原有策略 ipvsadm -A -t 12.0.0.1:80 -s rr ipvsadm -a -t 12.0.0.1:80 -r 192.168.153.50:80 -m [-w 1] #新增真實ip ipvsadm -a -t 12.0.0.1:80 -r 192.168.153.60:80 -m [-w 1] #新增真實ip ipvsadm #啟用策略 ipvsadm -ln #檢視節點狀態，Masq代表 NAT模式 ipvsadm-save > /etc/sysconfig/ipvsadm #儲存策略 ipvsadm -d -t 12.0.0.1:80 -r 192.168.80.10:80 -m [-w 1] #刪除群集中某一節點伺服器 ipvsadm -D -t 12.0.0.1:80 #刪除整個虛擬伺服器 systemctl stop ipvsadm #停止服務（清除策略） systemctl start ipvsadm #啟動服務（重建規則） ipvsadm-restore < /etc/sysconfig/ipvsadm #恢復LVS 策略 4.測試效果 網路設定裡面閘道器需要設定為閘道器伺服器 在一臺IP為12.0.0.12的客戶機使用瀏覽器訪問 http://12.0.0.1/ ，不斷重新整理瀏覽器測試負載均衡效果，重新整理間隔需長點。 2.2 NAT模式 LVS負載均衡群集部署實驗具體步驟（實操） 第一步：環境搭建 1）閘道器伺服器網絡卡配置（在虛擬機器設定裡面新增新網絡卡），內外網閘道器ip如下： 2）web節點伺服器1的IP和閘道器如下： 3）web節點伺服器2的IP和閘道器如下： 4）客戶端IP和閘道器設定如下： 5）關閉所有裝置的防火牆和SElinux 第二步：部署共享伺服器（NFS伺服器：192.168.153.70） 1）安裝相關軟體並設定開機自啟 2）建立accp和benet目錄，分別建立index.html並寫入內容 3）新增要釋出的目錄 4）釋出共享 第三步：配置節點伺服器（192.168.153.50、192.168.153.60） 1）節點伺服器1和2安裝httpd服務並開啟 2）節點伺服器1和2安裝nfs-utils和rpcbind程式 3）節點伺服器1掃描並掛載共享目錄 4）節點伺服器2掃描並掛載共享目錄 第四步：配置負載排程器（內閘道器 ens33：192.168.153.40，外閘道器 ens36：12.0.0.1） 1）配置SNAT轉發規則 2）情況iptables規則並新增新規則 3）載入LVS核心模組並檢視 4）安裝ipvsadm管理工具 5）儲存負載分配策略並啟動服務 6）配置負載分配策略（NAT模式只要在伺服器上配置，節點伺服器不需要特殊配置） 7）檢視節點策略並儲存 第五步：瀏覽器中進行測試（不斷重新整理瀏覽器測試負載均衡效果，重新整理間隔需長點）