centos雙網絡卡bond繫結詳解
CentOS5.5_雙網絡卡繫結
Linux雙網絡卡繫結實現就是使用兩塊網絡卡虛擬成為一塊網絡卡,這個聚合起來的裝置看起來是一個單獨的乙太網介面裝置,通俗點講就是兩塊網絡卡具有相同的IP地址而並行連結聚合成一個邏輯鏈路工作。
首先要看linux是否支援bonding,RHEL4已經預設支援了。
[[email protected] ~]# modinfo bonding
filename: /lib/modules/2.6.18-238.9.1.el5/kernel/drivers/net/bonding/bonding.ko author: Thomas Davis, [email protected]
………………
………………
如果有類似上面的資訊輸出,說明已經支援了。
繫結步驟:
1.修改/etc/sysconfig/network-scripts/ifcfg-eth0 配置文件
修改後的內容如下:
DEVICE=eth0
ONBOOT=yes #系統啟動時自動啟用該裝置
BOOTPROTO=none #啟動時不使用任何協議
2.修改/etc/sysconfig/network-scripts/ifcfg-eth1 配置文件
修改後的內容如下:
DEVICE=eth1
ONBOOT=yes #系統啟動時自動啟用該裝置
BOOTPROTO=none #啟動時不使用任何協議
3.建立一個繫結網路口的配置文件/etc/sysconfig/network-scripts/ifcfg-bond0
內容如下:
DEVICE=bond0 #虛擬網絡卡名稱
BOOTPROTO=static
IPADDR=192.168.0.2 #IP地址
NETMASK=255.255.255.0 #子網掩碼
GATEWAY=192.168.0.1 #閘道器
BORADCAST=192.168.0.255 #廣播地址
ONBOOT=yes
TYPE=Ethernet
也可這樣配置:
(1)編輯虛擬網路介面配置檔案(bond0),並指定網絡卡IP vi /etc/sysconfig/network-scripts/ifcfg-bond0 DEVICE=bond0 ONBOOT=yes BOOTPROTO=static IPADDR=192.168.0.254 BROADCAST=192.168.0.255 NETMASK=255.255.255.0 NETWORK=192.168.0.0 GATEWAY=192.168.0.1 USERCTL=no TYPE=Ethernet 注意:建議不要指定MAC地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 BOOTPROTO=none ONBOOT=yes USERCTL=no MASTER=bond0 SLAVE=yes 注意:建議不要指定MAC地址 vi /etc/sysconfig/network-scripts/ifcfg-eth1 DEVICE=eth1 BOOTPROTO=none ONBOOT=yes USERCTL=no MASTER=bond0 SLAVE=yes 注意:建議不要指定MAC地址
這樣配置完就不需要第5步了。
4.修改/etc/modprobe.conf,配置繫結模型
加入以下內容:
alias bond0 bonding
options bond0 millmon=100 mode=0
說明: miimon=100 miimon是指多久時間要檢查網路一次,單位是ms(毫秒) 這邊的100,是100ms,即是0.1秒意思是假設其中有一條網路斷線,會在0.1秒內自動備援 mode共有七種(0~6) mode=0:平衡負載模式,有自動備援,但需要"Switch"支援及設定。 mode=1:自動備援模式,其中一條線若斷線,其他線路將會自動備援。
mode=6:平衡負載模式,有自動備援,不必"Switch"支援及設定。
需要說明的是如果想做成mode 0的負載均衡,僅僅設定這裡options bond0 miimon=100 mode=0是不夠的,與網絡卡相連的交換機必須做特殊配置(這兩個埠應該採取聚合方式),因為做bonding的這兩塊網絡卡是使用同一個MAC地址. 從原理分析一下(bond執行在mode 0下): mode 0下bond所繫結的網絡卡的IP都被修改成相同的mac地址,如果這些網絡卡都被接在同一個交換機,那麼交換機的arp表裡這個mac地址對應的埠就有多 個,那麼交換機接受到發往這個mac地址的包應該往哪個埠轉發呢?正常情況下mac地址是全球唯一的,一個mac地址對應多個埠肯定使交換機迷惑了。 所以mode0下的bond如果連線到交換機,交換機這幾個埠應該採取聚合方式(cisco稱為 ethernetchannel,foundry稱為portgroup),因為交換機做了聚合後,聚合下的幾個埠也被捆綁成一個mac地址.我們的解 決辦法是,兩個網絡卡接入不同的交換機即可。
mode6模式下無需配置交換機,因為做bonding的這兩塊網絡卡是使用不同的MAC地址。
PS:RHEL4 (centos4)及以下的版本options加在/etc/modprobe.conf中; RHEL5 (centos5)可以在ifcfg-bond0中加BONDING_OPTS="mode=1 arp_interval=100 arp_ip_target=192.168.0.1"
5.修改/etc/rc.local,負責在系統啟動時將虛擬網絡卡和兩張物理網絡卡相繫結
增加以下內容:
ifenslave bond0 eth0 eth1
這樣配置完成,重啟機器,就可以看到有一張bond0的新網絡卡。
可以檢視bond0來得知當前狀態:
[[email protected] ~]# cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v3.4.0-1 (October 7, 2008) Bonding Mode: load balancing (round-robin) MII Status: up MII Polling Interval (ms): 100 Up Delay (ms): 0 Down Delay (ms): 0 Slave Interface: eth0 MII Status: up Speed: 100 Mbps Duplex: full Link Failure Count: 0 Permanent HW addr: 00:24:XXXXXXXX Slave Interface: eth1 MII Status: up Speed: 100 Mbps Duplex: full Link Failure Count: 1 Permanent HW addr: 00:24:XXXXXXXX
[ubuntu 10.04配置]
apt-get install ifenslave-2.6
vi /etc/network/interfaces
auto bond0 iface bond0 inet static address 192.168.xx.xx gateway 192.168.x.x netmask 255.255.255.0 slaves eth1 eth2 ##slaves eth0 eth1 eth2 eth3 eth4 bond-mode 0 bond-miimon 100
如果要繫結全部網絡卡, 用slaves all
七種bond模式說明:
第一種模式:mod=0 ,即:(balance-rr) Round-robin policy(平衡掄迴圈策略)特點:傳輸資料包順序是依次傳輸(即:第1個包走eth0,下一個包就走eth1....一直迴圈下去,直到最後一個傳輸完畢), 此模式提供負載平衡和容錯能力;但是我們知道如果一個連線或者會話的資料包從不同的介面發出的話,中途再經過不同的鏈路,在客戶端很有可能會出現資料包無序到達的問題,而無序到達的資料包需要重新要求被髮送,這樣網路的吞吐量就會下降 第二種模式:mod=1,即: (active-backup) Active-backup policy(主-備份策略)特點:只有一個裝置處於活動狀態,當一個宕掉另一個馬上由備份轉換為主裝置。mac地址是外部可見得,從外面看來,bond的MAC地址是唯一的,以避免switch(交換機)發生混亂。此模式只提供了容錯能力;由此可見此演算法的優點是可以提供高網路連線的可用性,但是它的資源利用率較低,只有一個介面處於工作狀態,在有 N 個網路介面的情況下,資源利用率為1/N 第三種模式:mod=2,即:(balance-xor) XOR policy(平衡策略)特點:基於指定的傳輸HASH策略傳輸資料包。預設的策略是:(源MAC地址 XOR 目標MAC地址) % slave數量。其他的傳輸策略可以通過xmit_hash_policy選項指定,此模式提供負載平衡和容錯能力 第四種模式:mod=3,即:broadcast(廣播策略)特點:在每個slave介面上傳輸每個資料包,此模式提供了容錯能力 第五種模式:mod=4,即:(802.3ad) IEEE 802.3ad Dynamic link aggregation(IEEE 802.3ad 動態連結聚合)特點:建立一個聚合組,它們共享同樣的速率和雙工設定。根據802.3ad規範將多個slave工作在同一個啟用的聚合體下。外出流量的slave選舉是基於傳輸hash策略,該策略可以通過xmit_hash_policy選項從預設的XOR策略改變到其他策略。需要注意的是,並不是所有的傳輸策略都是802.3ad適應的,尤其考慮到在802.3ad標準43.2.4章節提及的包亂序問題。不同的實現可能會有不同的適應性。必要條件:條件1:ethtool支援獲取每個slave的速率和雙工設定條件2:switch(交換機)支援IEEE 802.3ad Dynamic link aggregation 條件3:大多數switch(交換機)需要經過特定配置才能支援802.3ad模式 第六種模式:mod=5,即:(balance-tlb) Adaptive transmit load balancing(介面卡傳輸負載均衡)特點:不需要任何特別的switch(交換機)支援的通道bonding。在每個slave上根據當前的負載(根據速度計算)分配外出流量。如果正在接受資料的slave出故障了,另一個slave接管失敗的slave的MAC地址。該模式的必要條件:ethtool支援獲取每個slave的速率 第七種模式:mod=6,即:(balance-alb) Adaptive load balancing(介面卡適應性負載均衡)特點:該模式包含了balance-tlb模式,同時加上針對IPV4流量的接收負載均衡(receive load balance, rlb),而且不需要任何switch(交換機)的支援。接收負載均衡是通過ARP協商實現的。bonding驅動截獲本機發送的ARP應答,並把源硬體地址改寫為bond中某個slave的唯一硬體地址,從而使得不同的對端使用不同的硬體地址進行通訊。來自伺服器端的接收流量也會被均衡。當本機發送ARP請求時,bonding驅動把對端的IP資訊從ARP包中複製並儲存下來。當ARP應答從對端到達時,bonding驅動把它的硬體地址提取出來,併發起一個ARP應答給bond中的某個slave。使用ARP協商進行負載均衡的一個問題是:每次廣播 ARP請求時都會使用bond的硬體地址,因此對端學習到這個硬體地址後,接收流量將會全部流向當前的slave。這個問題可以通過給所有的對端傳送更新(ARP應答)來解決,應答中包含他們獨一無二的硬體地址,從而導致流量重新分佈。當新的slave加入到bond中時,或者某個未啟用的slave重新啟用時,接收流量也要重新分佈。接收的負載被順序地分佈(round robin)在bond中最高速的slave上當某個鏈路被重新接上,或者一個新的slave加入到bond中,接收流量在所有當前啟用的slave中全部重新分配,通過使用指定的MAC地址給每個 client發起ARP應答。下面介紹的updelay引數必須被設定為某個大於等於switch(交換機)轉發延時的值,從而保證發往對端的ARP應答不會被switch(交換機)阻截。必要條件:條件1:ethtool支援獲取每個slave的速率;條件2:底層驅動支援設定某個裝置的硬體地址,從而使得總是有個slave(curr_active_slave)使用bond的硬體地址,同時保證每個bond 中的slave都有一個唯一的硬體地址。如果curr_active_slave出故障,它的硬體地址將會被新選出來的 curr_active_slave接管 其實mod=6與mod=0的區別:mod=6,先把eth0流量佔滿,再佔eth1,....ethX;而mod=0的話,會發現2個口的流量都很穩定,基本一樣的頻寬。而mod=6,會發現第一個口流量很高,第2個口只佔了小部分流量
[[email protected] ~]# [[email protected] ~]# ifconfig eth0 Link encap:Ethernet HWaddr 00:0C:29:6F:8F:B7 inet addr:110.5.10.177 Bcast:10.5.10.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:fe6f:8fb7/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:1594 errors:0 dropped:0 overruns:0 frame:0 TX packets:832 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:212897 (207.9 KiB) TX bytes:101979 (99.5 KiB) Interrupt:67 Base address:0x2000 eth1 Link encap:Ethernet HWaddr 00:0C:29:6F:8F:C1 inet addr:10.5.10.29 Bcast:10.5.10.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:fe6f:8fc1/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:712 errors:0 dropped:0 overruns:0 frame:0 TX packets:75 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:131195 (128.1 KiB) TX bytes:11810 (11.5 KiB) Interrupt:67 Base address:0x2080 lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:1459 errors:0 dropped:0 overruns:0 frame:0 TX packets:1459 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:245559 (239.8 KiB) TX bytes:245559 (239.8 KiB) [[email protected] ~]# [[email protected] ~]# [[email protected] ~]# service network restart Shutting down interface eth0: [ OK ] Shutting down interface eth1: [ OK ] Shutting down loopback interface: [ OK ] Bringing up loopback interface: [ OK ] Bringing up interface bond0: [ OK ] Bringing up interface eth0: pcnet32 device eth0 does not seem to be present, delaying initialization. [FAILED] Bringing up interface eth1: [ OK ] [[email protected] ~]# ifconfig bond0 Link encap:Ethernet HWaddr 00:0C:29:6F:8F:B7 inet addr:110.5.10.177 Bcast:10.5.10.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:fe6f:8fb7/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:1764 errors:0 dropped:0 overruns:0 frame:0 TX packets:926 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:239964 (234.3 KiB) TX bytes:119705 (116.8 KiB) Interrupt:67 Base address:0x2000 eth1 Link encap:Ethernet HWaddr 00:0C:29:6F:8F:C1 inet6 addr: fe80::20c:29ff:fe6f:8fc1/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:780 errors:0 dropped:0 overruns:0 frame:0 TX packets:90 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:144647 (141.2 KiB) TX bytes:16173 (15.7 KiB) Interrupt:67 Base address:0x2080 lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:1557 errors:0 dropped:0 overruns:0 frame:0 TX packets:1557 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:261105 (254.9 KiB) TX bytes:261105 (254.9 KiB) [[email protected] ~]# modinfo bonding filename: /lib/modules/2.6.18-53.el5/kernel/drivers/net/bonding/bonding.ko author: Thomas Davis, [email protected] and many others description: Ethernet Channel Bonding Driver, v3.1.2 version: 3.1.2 license: GPL srcversion: 6CD19765D6431C07199456E depends: vermagic: 2.6.18-53.el5 SMP mod_unload 686 REGPARM 4KSTACKS gcc-4.1 parm: max_bonds:Max number of bonded devices (int) parm: miimon:Link check interval in milliseconds (int) parm: updelay:Delay before considering link up, in milliseconds (int) parm: downdelay:Delay before considering link down, in milliseconds (int) parm: use_carrier:Use netif_carrier_ok (vs MII ioctls) in miimon; 0 for off, 1 for on (default) (int) parm: mode:Mode of operation : 0 for balance-rr, 1 for active-backup, 2 for balance-xor, 3 for broadcast, 4 for 802.3ad, 5 for balance-tlb, 6 for balance-alb (charp) parm: primary:Primary network device to use (charp) parm: lacp_rate:LACPDU tx rate to request from 802.3ad partner (slow/fast) (charp) parm: xmit_hash_policy:XOR hashing method: 0 for layer 2 (default), 1 for layer 3+4 (charp) parm: arp_interval:arp interval in milliseconds (int) parm: arp_ip_target:arp targets in n.n.n.n form (array of charp) parm: arp_validate:validate src/dst of ARP probes: none (default), active, backup or all (charp) module_sig: 883f350473854274432f7696771e6e11230fb09e34e7dba7e91b77e25d9ccb0ca9b4e6e5a1076a009f4091a23337f7cd53e737c1ec2189ff3a6d3cc738 [[email protected] ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 # Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE] DEVICE=eth0 ONBOOT=yes [[email protected] ~]#