linux Cluster：

Cluster：計算機集合，為解決某個特定問題組合起來形成的單個系統：

類型：

LB：Load Balancing，負載均衡：

HA：High Availiablity ，高可用：

HP：High Performance，高性能：

分布式系統：

分布式存儲

分布式計算

系統擴展方式：

Scale UP：向上擴展

Scale Out: 向外擴展

軟件：

LVS：Linux Virtural Server/nginx(stream

四層：lvs/nginx(stream)haproxy(mode tcp)

七層：http: nginx(http upstream)/haproxy(mode http)/ats/httpd/perlbal/pound/...

基於工作的協議層次劃分：

傳輸層（通用）：（DPORT)

LVS：

nginx：（stream）

haproxy：（mode tcp）

應用層（專用）：（自定義的請求模型分類）

proxy server

http：nginx，httpd，haproxy（mode http），...

fastcgi：nginx httpd，

mysql：mysql-proxy，

站點指標：

PV:Page View

UV：Unique Vistor

IP：

會話保持：

（1）seesion sticky

Source IP

Cookie

（2） session replication

session cluster

（3）session server

LVS：liunx Virtual Server

VS：Virtual Server

RS：Real Server

四層路由器，四層交換機：

VS：根據請求報文的目標IP和目標協議及端口將其調度轉發至某RealServer，根據調度算法來挑選RS；

iptables/netfilter：

iptables：用戶空間的管理工具；

netfilter：內核空間上的框架；

流入：PREROUTING --> INPUT

流出：OUTPUT --> POSTROUTING

轉發：PREROUTING --> FORWARD --> POSTROUTING

DNAT：目標地址轉換：PREROUTING

lvs: ipvsadm/ipvs

ipvsadm：用戶空間的命令行工具，規則管理器，用於管理集群服務及RealServer；

ipvs：工作於內核空間的netfilter的INPUT鉤子之上的框架；

lvs集群類型中的術語：

vs：Virtual Server, Director, Dispatcher, Balancer

rs：Real Server, upstream server, backend server

CIP：Client IP, VIP: Virtual serve IP, RIP: Real server IP, DIP: Director IP

CIP <--> VIP == DIP <--> RIP

lvs集群的類型：

lvs-nat：修改請求報文的目標IP；多目標IP的DNAT；

lvs-dr：操縱封裝新的MAC地址(目標MAC是某挑選出的RS的RIP所在接口的MAC地址)；

lvs-tun：在原請求IP報文之外新加一個IP首部；

lvs-fullnat：修改請求報文的源和目標IP；

LVS工作原理：

結構： LVS由前段的負載均衡器（Load Balancer，LB）和後端的真實服務器（Real Server，RS）群組成。

LVS集群的類型（四種）：

lvs-nat，lvs-dr，lvs-tun，lvs-fullnat（不是一種標準模型，而是nat模型的一種轉換）

lvs -nat：

多目標IP的DNAT，通過將請求報文中的目標地址和目標端口修改為某挑出的RS的RIP和PORT實現轉發；

（1）RIP和DIP必須在同一個IP網絡，且應該使用私網地址；RS的網關要指向DIP；

（2）請求報文和響應報文都必須經由Director轉發；Director易於成為系統瓶頸；

（3）支持端口映射，可修改請求報文的目標PORT；

（4）vs必須是Linux系統，rs可以是任意系統；

lvs-dr

Direct Rounting 直接路由：

通過為請求報文重新封裝一個MAC首部進行轉發，源MAC是DIP所在的接口的MAC，目標MAC是某挑選出的RS的RIP所在接口的MAC地址，源IP/PORT,以及目標IP/PORT均保持不變：

Director和各RS都得配置使用VIP；

(1) 確保前端路由器將目標IP為VIP的請求報文發往Director：

(a) 在前端網關做靜態綁定；

(b) 在RS上使用arptables；

(c) 在RS上修改內核參數以限制arp通告及應答級別；

arp_announce：限制通告級別

0：默認值，把本機上的所有接口的所有信息向每個接口上的網絡進行通告；

1：盡量避免向非直接連接網絡進行通告；

2：必須避免向非本網絡通告；

arp_ignore：限制響應級別

0：默認值，表示可使用本地任意接口上配置的任意地址進行響應；

1: 僅在請求的目標IP配置在本地主機的接收到請求報文接口上時，才給予響應；

(2) RS的RIP可以使用私網地址，也可以是公網地址；RIP與DIP在同一IP網絡；RIP的網關不能指向DIP，以確保響應報文不會經由Director；

(3) RS跟Director要在同一個物理網絡；

(4) 請求報文要經由Director，但響應不能經由Director，而是由RS直接發往Client；

(5) 不支持端口映射；

lvs-tun：

轉發方式：不修改請求報文的IP首部（源IP為CIP，目標IP為VIP），而是在原IP報文之外再封裝一個IP首部（源IP是DIP，目標IP是RIP），將報文發往挑選出的目標RS；RS直接響應給客戶端（源IP是VIP，目標IP是CIP）；

(1) DIP, VIP, RIP都應該是公網地址；

(2) RS的網關不能，也不可能指向DIP；

(3) 請求報文要經由Director，但響應不能經由Director；

(4) 不支持端口映射；

(5) RS的OS得支持隧道功能；

lvs-fullnat：

通過同時修改請求報文的源IP地址和目標IP地址進行轉發；

CIP-->DIP

VIP-->RIP

(1) VIP是公網地址，RIP和DIP是私網地址，且通常不在同一IP網絡；因此，RIP的網關一般不會指向DIP；

(2) RS收到的請求報文源地址是DIP，因此，只需響應給DIP；但Director還要將其發往Client；

(3) 請求和響應報文都經由Director；

(4) 支持端口映射；

註意：此類型默認不支持：

ipvs scheduler(LVS的調度算法）：

根據其調度時是否考慮各RS當前的負載狀態，可分為靜態方法和動態方法兩種：

靜態方法：僅根據算法本身進行調度；

RR：roundrobin，輪詢；

WRR：Weighted RR，加權輪詢；

SH：Source Hashing，實現session sticy，源IP地址hash；將來自於同一個IP地址的請求始終發往第一次挑中的RS，從而實現會話綁定；

DH：Destination Hashing；目標地址哈希，將發往同一個目標地址的請求始終轉發至第一次挑中的RS，典型使用場景是正向代理緩存場景中的負載均衡；

動態方法：主要根據每RS當前的負載狀態及調度算法進行調度；

通過計算RS當前的Overhead值來進行選擇，各計算方式如下：

LC：least connections（最少連接數）

Overhead=activeconns*256+inactiveconns

當計算結果相同時，就按照“自上而下”的輪詢方式進行選擇

WLC：Weighted LC（加權最少連接數）

Overhead=(activeconns*256+inactiveconns)/weigh

計算結果相同時，自上而下選擇，一般首次所有RS都先輪詢一遍，每個都處理一個請求，第二輪權才發揮效果，但是第一次響應請求的有可能是性能最差的服務器（如果性能最差的服務器排在最上面的話）

SED：Shortest Expection Delay（最小期望延遲)

改進版的WLC，這種算法保證了是有權重最高的RS首先響應服務，而非初始機算值都是相同造成的輪詢，但是，會出現權重大的RS過多負載，而權重小的RS過於空閑

Overhead=(activeconns+1)*256/weight

NQ：Never Queue（永不排隊）

此算法首次會按照權重挑選，由大到小輪詢一遍，之後再按照sed算法來選擇，避免了權重小的RS過於空閑

LBLC：Locality-Based LC，動態的DH算法；

LBLCR：LBLC with Replication，帶復制功能的LBLC；

應用於緩存服務器，提高緩存命中率

ipvsadm/ipvs:

集群和集群之上的各RS是分開管理的：

一個ipvs主機可以同時定義多個cluster server，但可能會影響調度性能

一個ipvs服務至少應該有一個rs

ipvsadm：用戶空間的集群服務管理工具

程序包：ipvsadm

Unit File: ipvsadm.service

主程序：/usr/sbin/ipvsadm

規則保存工具：/usr/sbin/ipvsadm-save

規則重載工具：/usr/sbin/ipvsadm-restore

配置文件：/etc/sysconfig/ipvsadm-config

ipvsadm命令：

核心功能：

集群服務管理：增、刪、改：

集群服務的RS管理：增、刪、改；

查看：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]

ipvsadm -D -t|u|f service-address

ipvsadm -C

ipvsadm -R

ipvsadm -S [-n]

ipvsadm -a|e -t|u|f service-address -r server-address [options]

ipvsadm -d -t|u|f service-address -r server-address

ipvsadm -L|l [options]

ipvsadm -Z [-t|u|f service-address]

管理集群服務：增、改、刪：

增、改：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

刪：

ipvsadm -D -t|u|f service-address

service-address：

-t|u|f：

-t：TCP協議的端口，VIP：TCP_PORT

-u：UDP協議的端口，VIP：UDP_PORT

-f：firewall MARK,是一個數字：

【-s scheduler】：指定集群的調度算法，默認為wlc

管理集群上的RS：增、改、刪：

增、改：

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight

刪：

ipvsadm -d -t|u|f service-address -r server-address

server-address：

rip【：port】

指明LVS工作類型：

-g：gateway，即dr模式

-i： ipip，即tun模式

-m：masquerade，即nat模式

-w：weight 指定權重

查看：

ipvsadm -L|l [options]

--numeric, -n：numeric output of addresses and ports （數字格式顯示ip和port）

--exact：expand numbers (display exact values)（精確值）

--connection， -c：output of current IPVS connections（顯示IPVS連接）

--stats：output of statistics information（統計數據）

--rate ：output of rate information（速率）

註意：n只能寫在L之後

清空：

ipvsadm -C

清空計數器：

ipvsadm -z 【-t|u|f service-address】

保存和重載：

ipvsadm -S = ipvsadm-save

ipvsadm -S > /path/to/somewhere

ipvsadm -R = ipvsadm-restore

ipvsadm -R < /path/from/rule_file

FWM:FireWall Mark

netfilter:

target: MARK, This target is used to set the Netfilter mark value associated with the packet

--set-mark value.

借助於防火墻標記來分類報文，而後基於標記定義集群服務；可將多個不同的應用使用同一個集群服務進行調度；

打標記方法（在Director主機）：

# iptables -t mangle -A PREROUTING -d $vip -p $proto --dport $port -j MARK --set-mark NUMBER

基於標記定義集群服務：

# ipvsadm -A -f NUMBER [options]

lvs persistence：持久連接

持久連接模板：實現無論使用任何調度算法，在一段時間內，能夠實現將來自同一個地址的請求始終發往同一個RS；

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

port Affinity：

每端口持久：每個端口對應定義為一個集群服務，每集群服務單獨調度；

每防火墻標記持久：基於防火墻標記定義集群服務；可實現將多個端口上的應用統一調度，即所謂的port Affinity；

每客戶端持久：基於0端口定義集群服務，即將客戶端對所有應用的請求統統調度至後端主機，必須定義為持久模式；

本文出自 “lvs初步介紹” 博客，請務必保留此出處http://12720949.blog.51cto.com/12710949/1926050

lvs初步認識