轉載老管網路日誌

本案例為ESXi叢集的一個例子，正如[VMware叢集常見硬體配置、架構說明]說的，此架構應該為第4種安全，即“刀鋒伺服器+IPSAN萬兆儲存+萬兆核心交換機 ”。這裡的刀鋒伺服器為HP C7000，IPSAN萬兆儲存為DELL EQlogic，萬兆儲存交換機為華為S6700。

說明：該文件只會描述案例的整個架構，以及如何實現等，不會涉及詳細的配置說明，如需瞭解請網上自行搜尋相關裝置的教程，具體內容如下：

一、案例概述

該案例主要搭建一套小型的私有云中心，以給需要計算資源的單位提供相應的服務。將硬體資源（刀鋒伺服器、儲存等）通過VMware的虛擬化軟體來實現。

二、系統拓撲圖

三、裝置清單

1、刀鋒伺服器

兩臺HP C7000刀片機箱，每機箱配置8個刀鋒伺服器及四個VC模組，具體如下：

（1）HP C70000刀箱 * 2
（2）BL420c刀片 * 8 （每刀片配置兩顆CPU、128G記憶體、4個10GB乙太網卡）
（3）HP Virtual Connect FlexFabric 10Gb/24-port Module模組 * 4
（4）其它（OA管理模組、電源、風扇等）

2、DELL EQlogic儲存

儲存共配置了6個盤櫃，三個為高速盤櫃（PS6110XV，雙控制器、8G快取、24× 600GB 15Krpm SAS熱插撥硬碟），三個為低速盤櫃（PS6110E，雙控制器、8G快取、24× 3TB 7.2Krpm NL-SAS熱插撥硬碟）

（1）DELL EQLogic PS6110XV * 3
（2）DELL EQLogic PS6110E * 3

3、華為S6700萬兆交換機

共配置了兩臺，具體如下

（1）華為 S6700-48-EI * 2 （配置48個萬兆SFP介面、支援三層交換）

4、虛擬化軟體VMware

虛擬化軟體採用的VMware vSphere 5.0 Enterprise，32個CPU授權（16個刀片，每刀片2個CPU）。

四、詳細連線圖

乙太網業務網路和IP SAN網路都先連線至華為S6700萬兆交換機上，業務網路核心交換機華為S9312再與S6700萬兆交換機通過4根10GB光纖相連。各網路通過VLAN來隔離。刀片的VC模組多根線連線至S6700時，連線在S6700上的多個埠需要做埠聚合（華為交換機中稱E-trunk）。

五、網路劃分

在一個私有云中，不單有儲存網路及業務網路，還有其它一些輔助的網路，如VMware管理網路、VMware vMotion網路、儲存管理網路等。此次具體劃分如下：

（1）VMware叢集管理，IP：172.22.228.0/128，閘道器：172.22.228.1，VLAN ID：228
（2）業務網路，IP：172.22.227.0/24，閘道器：172.22.227.1，VLAN ID：227
（3）vMotion網路，IP：10.100.100.0/24，閘道器：無，VLAN ID：3000
（4）Iscsi儲存管理網路，IP：172.22.228.128/128，閘道器：172.22.228.129，VLAN ID：229
（5）Iscsi儲存業務網路，IP：10.200.88.0/22，閘道器：無，VLAN ID：3088

五、HP VC模組網路配置

從詳細連線圖中可看出，每個刀箱配置了四個VC模組，兩個模組用於乙太網連線，兩個模組用於IP SAN連線。

在整個配置過程中，唯一與傳統伺服器不同的是網路的連線方式。傳統伺服器只需將網路接入伺服器的物理網口即可。但本專案中HP刀鋒伺服器使用了VC模組來接入網路。
每臺刀鋒伺服器配置了2塊雙埠刀兆物理網絡卡，即有4個物理網口。每個物理網口需有一個VC模組來對應，VC模組如下圖所示：

所以每個刀箱配置了4個VC模組。每個刀片的1個物理網口通過VC模組，可以虛擬出4個虛擬網口（4個虛擬網口總頻寬仍為10GB），即4個物理網口可以虛擬出16個虛擬網口。虛擬的網口頻寬可以隨意分配，如1G+3G+3G+3G=10GB，當然也可以虛擬成三塊，如1G+3G+6G=10G。
刀片的4個物理網絡卡由兩塊雙埠的卡組成，第一塊接在主機板上，稱為LOM，第二塊接入Mezz插槽，稱為Mezz Slot1插槽。在VC中LOM網絡卡的第一塊標記為LOM:1，第二塊為LOM:2。Mezz Slot1在VC中第一塊標記為Mezz1:1，第二塊為Mezz1:2。如下圖所示。

在VC中，每個物理埠都被分成了a、b、c、d四個虛擬網口，例如LOM:1網口就被虛擬成：LOM:1-a、LOM:1-b、LOM:1-c、LOM:1-d。其它三個網口以此類推，則16塊虛擬網絡卡如下圖所示。

我們知道，在VMware中，網絡卡的序號是vmnic0、vmnic1、 vmnic2這樣順序排下去的。在VC中，每個虛擬網絡卡如LOM:1-a也有一個序號。這三者之間的關係如下圖所示。

在整個VMware叢集中，網路分為管理網路、業務網路、vMotion網路及Iscsi儲存網路。對應的頻寬分配如下：

1、VMware管理網路，頻寬1+1=2GB，VLAN ID：228
2、業務網路，頻寬6+6=12GB，VLAN ID：227
3、vMotion網路，頻寬3+3=6GB，VLAN ID：3000
4、iSCSI儲存網路，頻寬10+10=20GB，VLAN ID：3088

VMware四部分網路對應刀片的網口劃分如下圖所示：

綜合上面的對應表，即能得出本案例網絡卡對應表，如下：

六、DELL EQLogic儲存規劃、配置

共配置了6個盤櫃，儲存的網路劃分成管理網路和儲存網路兩類，管理網路通過一個單獨的交換機，將6個盤櫃連線起來，網路地址為172.22.228.128/128。儲存網路地址為10.200.88.0/22，儲存服務地址為10.200.88.200/22。詳細如下：

1、拓撲

兩臺華為的6700交換機，儲存有兩個控制器，接入規劃為每個盤櫃的控制器A接入第一臺華為6700的交換機上，每個盤櫃的控制器B接入第二臺華為6700交換機上。如上圖所示。

2、儲存管理網路

（1）PS6110XV-1（高速櫃1），管理IP：172.22.228.201/128，VLAN ID：229
（2）PS6110XV-1（高速櫃1），管理IP：172.22.228.202/128，VLAN ID：229
（3）PS6110XV-1（高速櫃1），管理IP：172.22.228.203/128，VLAN ID：229
（4）PS6110E-1（低速櫃1），管理IP：172.22.228.204/128，VLAN ID：229
（5）PS6110E-1（低速櫃1），管理IP：172.22.228.205/128，VLAN ID：229
（6）PS6110E-1（低速櫃1），管理IP：172.22.228.206/128，VLAN ID：229

3、儲存業務網路

儲存業務網路只有一個IP地址，為10.200.88.200/22，所有需要訪問儲存空間的裝置只需訪問該IP地址即可。

4、儲存LAN劃分規劃

（1）高速盤

高速盤用於對資料讀寫要求高的分配，如虛擬機器的作業系統等。

說明：劃分分割槽時名稱帶有cluster1和cluster2，是因為VMware到時建立兩個HA，8個ESXI刀片主機為一個HA，cluster1的lun只能讓VMware的cluster1可以訪問，cluster2只能讓VMware的cluster2可以訪問。

（2）低速盤

低速盤用於儲存視訊等大容量的空間應用。

5、儲存管理

儲存管理是通過WEB介面來管理，可以通過伺服器10.200.88.200來管理，如https://10.200.88.200，也可以通過儲存管理地址來訪問，如172.22.228.201等地址。預設使用者名稱密碼為：grpadmin/password，進入後，就可以對儲存進行管理。

六、華為萬兆交換機規劃、配置

兩臺華為交換機作為業務網路及儲存網路的基礎，起著十分重要的作用。交換機本身只作為二層交換機使用，通過VLAN來隔離不同的網路。

型號為華為S6700-48-EI，帶有48個SFP萬兆插槽、包轉發率：715Mpps、交換容量：960Gbps。

在交換機上建立五個VLAN，227 228 229 3000 3088。

交換機埠連線、劃分表：

1、VMware管理網路

S67000-01：11口（接HP C7000-01 VC01 X1口）
S67000-01：19口（接HP C7000-02 VC01 X1口）
S67000-02：11口（接HP C7000-01 VC03 X1口）
S67000-02：19口（接HP C7000-02 VC03 X1口）

2、vMotion網路

S67000-01：12口（接HP C7000-01 VC01 X2口）
S67000-01：20口（接HP C7000-02 VC01 X2口）
S67000-02：12口（接HP C7000-01 VC03 X2口）
S67000-02：20口（接HP C7000-02 VC03 X2口）

3、業務網路

S67000-01：13口（接HP C7000-01 VC01 X3口）
S67000-01：14口（接HP C7000-01 VC01 X4口）
S67000-01：15口（接HP C7000-02 VC01 X3口）
S67000-01：16口（接HP C7000-02 VC01 X4口）
S67000-02：13口（接HP C7000-01 VC03 X3口）
S67000-02：14口（接HP C7000-01 VC03 X4口）
S67000-02：15口（接HP C7000-02 VC03 X3口）
S67000-02：16口（接HP C7000-02 VC03 X4口）

4、儲存網路

S67000-01： 7口（接HP C7000-01 VC02 X1口）
S67000-01： 8口（接HP C7000-01 VC02 X2口）
S67000-01：17口（接HP C7000-01 VC02 X3口）
S67000-01：18口（接HP C7000-01 VC02 X4口）
S67000-01： 9口（接HP C7000-02 VC02 X1口）
S67000-01：10口（接HP C7000-02 VC02 X2口）
S67000-01：21口（接HP C7000-02 VC02 X3口）
S67000-01：22口（接HP C7000-02 VC02 X4口）
S67000-02： 7口（接HP C7000-01 VC04 X1口）
S67000-02： 8口（接HP C7000-01 VC04 X2口）
S67000-02：17口（接HP C7000-01 VC04 X3口）
S67000-02：18口（接HP C7000-01 VC04 X4口）
S67000-02： 9口（接HP C7000-02 VC04 X1口）
S67000-02：10口（接HP C7000-02 VC04 X2口）
S67000-02：21口（接HP C7000-02 VC04 X3口）
S67000-02：22口（接HP C7000-02 VC04 X4口）

VMware管理網路及 vMotion網路都是VC上單線接入S6700交換機，所以S6700上不用做埠聚合。而業務網路和儲存網路都是同一VC裝置上多根接入S6700交換機，則需要做埠鏈路聚合。具體如下：

1、S6700-01交換機上的埠聚合列表：

（1）13、14口做成E-trunk 11，對應HP C7000-01 VC01 X3 X4兩埠
（2）15、16口做成E-trunk 13，對應HP C7000-02 VC01 X3 X4兩埠
（3）7、8、17、18口做成E-trunk 12，對應HP C7000-01 VC02 X1 X2 X3 X4四埠
（4）9、10、21、22口做成E-trunk 14，對應HP C7000-02 VC02 X1 X2 X3 X4四埠
（5）41、42、43、44口做成E-trunk 5，對應乙太網核心S9312交換機的0-3四埠
（6）47、48口做成E-trunk 30，對應S6700-02交換機的47、48兩埠

2、S6700-02交換機上的埠聚合列表：

（1）13、14口做成E-trunk 11，對應HP C7000-01 VC03 X3 X4兩埠
（2）15、16口做成E-trunk 13，對應HP C7000-02 VC03 X3 X4兩埠
（3）7、8、17、18口做成E-trunk 12，對應HP C7000-01 VC04 X1 X2 X3 X4四埠
（4）9、10、21、22口做成E-trunk 14，對應HP C7000-02 VC04 X1 X2 X3 X4四埠
（5）41、42、43、44口做成E-trunk 6，對應乙太網核心S9312交換機的4-7四埠
（6）47、48口做成E-trunk 30，對應S6700-01交換機的47、48兩埠

華為交換機埠聚合E-trunk配置舉例：

interface Eth-Trunk11
description to-hp-c7000-01-vc01-eth_x3x4_ethernet
port link-type trunk
port trunk allow-pass vlan 227 to 228 3000
mode lacp-static
#
interface XGigabitEthernet0/0/13
eth-trunk 11
#
interface XGigabitEthernet0/0/14
eth-trunk 11
#

七、VMware叢集規劃、配置

案例中共有ESXi主機16臺，規劃為第一個刀箱的前四個刀片與第二個刀箱的前四個刀片組成一個VMware HA，名稱為Cluster1，第一個刀箱的後四個刀片與第二個刀箱的後四個刀片組成另一個HA，名稱為Cluster2，增強冗餘性，如下圖所示。

1、叢集概覽

域：cloud.xxx.cn
資料中心名稱：DC1
叢集1名稱：Cluster1
叢集1主機數：8臺
叢集1資源：

叢集2名稱：Cluster2
叢集2主機數：8臺
叢集2資源：

叢集1、2儲存資源：

叢集1、2網路如下圖，儲存網路、VMware管理網路使用標準交換機，業務網路採用分散式交換機dvSwitch1。

2、叢集網路配置

正如上面講到的，每個刀片都會認到8個可用的網絡卡，如下圖，為vmnic0、vmnic1、vmnic2、vmnic4、vmnic8、vmnic9、vmnic10、vmnic12，在叢集網絡卡配置時，只需將當時規劃好的網絡卡繫結在一起即可。如下：

（1）VMware管理網路：vmnic0、vmnic8
（2）vMotion網路：vmnic4、vmnic12
（3）業務網路：vmnic2、vmnic10
（4）iSCSI儲存網路：vmnic1、vmnic9

3、叢集管理機規劃、配置

案例中的管理機如域控、vCenter伺服器都架設中虛擬機器中，不單獨使用物理機來架設。清單如下：

該案例整個架構及實現方式介紹就此結束，整個案例的複雜點應該是在HP的VC模組與VMware結合的配置。因接觸也不深，文中難免有問題，僅供參考！

參考文章：

1、HP刀鋒伺服器系統Flex-10 VC配置與VMware vSphere網路設計

2、Understanding HP Flex-10 Mappings with VMware ESX/vSphere

標籤：eqlogic,hp c7000,huawei,vmware,雲端計算,私有云
Category:3. 配置筆記,8. 虛擬化VMware/雲端計算|3 Comments

HP C7000上的BL420c刀片安裝ESXi5

2014 年 1 月 22 日, 下午 11:48

開啟刀片的KVM控制檯，如下圖，選擇[Virtual Drives] –> [CD/DVD] –> [Virtual Image]

選擇ESXi安裝ISO檔案，這裡為HP定製版ESXi，如下圖所示。

重啟後，就直接進入ESXi的安裝介面。

標籤：esxi,hp c7000
Category:3. 配置筆記,8. 虛擬化VMware/雲端計算|Comment

HP C7000初始化配置

2014 年 1 月 22 日, 下午 11:24

HP C7000為模組化的刀鋒伺服器，機箱高度10U，可以插16臺半高的刀鋒伺服器，如下圖，即為插了8臺刀鋒伺服器。

刀箱後背箱可以插風扇、電源，以及I/O模組（包括網路、SAN交換機），以及用於管理刀片的OA模組。

將相應的模組（包括電源、風扇、I/0、刀鋒伺服器）都插入刀箱後，開始對機箱進行上電工作，然後進行初始化配置工作。

1、配置OA（Onboard Administrator的縮寫）管理地址

通過機箱前面的小液晶屏設定管理控制器OA的IP地址，先選中enclosure settings，設定OA 1 IP地址，因為本刀箱沒有配置第二個OA管理卡，所以只需設定OA 1 IP即可，完成後，選擇Accept All。如下圖：

2、登陸刀箱管理，進行設定

將如下圖的OA管理口與一臺筆記本相連

然後在筆記本上開啟IE瀏覽器，輸入https://10.0.0.1，初始使用者名稱密碼在刀箱的卡片上有，進入後，就可以對刀箱的I/O模組進行設定。

3、配置刀鋒伺服器的iLO4地址，用於管理刀片

將刀鋒伺服器的八爪魚與顯示器鍵盤相連，然後將該刀片開機，當執行至如下圖時，按F8進入刀處iLO4的配置

進入配置介面後，選擇[Network] –> [DNS/DHCP]，在DHCP Enable中變更為OFF，如下圖所示

關閉DHCP後，在進入[Network] –> [NIC and TCP/IP]，設定iLO4的管理IP，這裡為10.0.0.112，如下圖所示，完成 後，選擇EXIT退出即可。

完成後，再次進入刀箱的管理介面，進入[Device Bays]選單欄，就能看到8個刀片的選項，選擇剛才設定iLO4的12號刀片，如下圖，可以看到IP地址已為10.0.0.112，點選Remote Console就能開啟該刀片的KVM介面。

該介面是依託JAVA程式來開啟，所以管理計算機上需要有JAVA程式支援，開啟後，就會出現如下圖的介面，該介面即為刀鋒伺服器的KVM介面。可用於RAID的設定、安裝作業系統等之用。

在KVM介面中，也可以看到iLO 4的IP地址已經設定為10.0.0.112。

轉載於:https://blog.51cto.com/namtsorye/1853679