Proxmox VE + Ceph 超融合專案實戰（第一部分：網路拓撲和伺服器配置）
一、某某公司超融合專案整體網路拓撲
某省某某公司科技有限責任公司研發測試平臺超融合專案整體網路拓撲，如圖1所示：
節點1~3伺服器
節點1~3伺服器採用超融合架構，主要用於研發測試平臺，部署在某某公司辦公室對面的機房，建設內容包括：
1）伺服器裝置，在伺服器機櫃部署3臺伺服器硬體；
2）虛擬化套件，在伺服器上部署1套虛擬化套件PVE；
3）分散式儲存，在伺服器上部署1套分散式儲存套件Ceph。
三層交換機
在伺服器機櫃中部署1臺華三S5110V2-28P-SI弱三層交換機，建設內容包括：
1） 伺服器叢集接入，獨立劃分VLAN網段，用於實現節點1~3伺服器叢集接入；
2）接入既有網路，用於接入既有交換機S1724G，實現接入既有網路，通過既有網路實現伺服器叢集與網際網路互通。
注意，由於3個節點伺服器組建成叢集，且使用Ceph搭建分散式儲存，為保證效能，保證虛擬機器遷移速率，強烈建議採用全萬兆交換機部署。由於客戶預算問題，本專案採用了全千兆交換機部署。
研發測試工位
研發工位與測試工位接入到既有交換機S1724G，建設內容包括：
1）研發測試工位保持既有的上網IP地址和閘道器不變；
2）研發測試工位實現訪問超融合伺服器叢集的業務虛擬主機。
既有伺服器群
既有伺服器執行著某某公司的應用系統，如研發管理系統、測試管理系統、OA系統等等，既有伺服器群與研發測試超融合平臺不做互聯互通。
二、伺服器基礎配置
本專案中，通用伺服器硬體採用的是白牌伺服器Baixxxx-Cloud-X10，Baixxxx-Cloud-X10是一款2U雙路高階旗艦機架式伺服器，以強勁的計算效能，完善的生態相容，極致的空間擴充套件能力，滿足各行業應用配置需求，適用於資料分析處理、深度學習分散式儲存等多種應用場景。白牌伺服器Baixxxx-Cloud-X10 如圖2 所示。
圖2. 白牌伺服器Baixxxx-Cloud-X10
白牌伺服器Baixxxx-Cloud-X10的技術規格如表1所示：
表1. Baixxxx-Cloud-X10的技術規格
2.1.RAID規劃
本專案中，白牌伺服器Baixxxx-Cloud-X10是八盤位，如圖3所示。
圖3. 白牌伺服器Baixxxx-Cloud-X10的盤位
白牌伺服器Baixxxx-Cloud-X10有八個盤位，一共有2 塊1.9TB SSD盤，2塊480GB SSD盤，4塊8TB HDD盤。
2.1.1 系統盤
在每個節點伺服器上，2塊480GB SSD盤組成RAID1，作為系統盤。做RAID1之後，2塊480GB SSD盤相互備份，容量只有一半，系統檔案存放在RAID1盤中。除了2塊480GB SSD盤做RAID1之外，其餘SSD盤、HDD盤均不做RAID。
2.1.2 Ceph盤
本專案中，後端儲存採用Ceph分散式儲存搭建，為了保證可靠性，Ceph採用了資料多副本的儲存方式，這意味著不再需要RAID，也就克服了 RAID 存在的諸多問題。換句話說，Ceph已經解決了容錯問題，無需使用RAID。
紅帽官網文件有關於構建Ceph儲存叢集時，不建議基於RAID盤建立OSD，除了系統盤之外，其餘磁碟全部設定為非RAID模式。也就是說，Ceph不要與RAID混合使用，如果已經使用了Ceph的話，應該禁用RAID，將RADI控制器配置為RAID0，如圖4所示。
圖4. 紅帽官網Ceph章節對RAID使用建議
2.2 伺服器網絡卡規劃
本專案中，白牌Baixxxx-Cloud-X10伺服器一共有5張物理網絡卡，物理網絡卡的IP 地址規劃如圖5所示。
圖5. Baixxxx-Cloud-X10伺服器網絡卡規劃
2.3 伺服器IPMI介面
IPMI是指一組用於帶外管理的計算機介面規範。帶外是指無需與系統的物理資產位於同一區域即可訪問計算機系統。IPMI 支援遠端監視，不需要計算機作業系統的許可。IPMI 在連線到主機板或伺服器的單獨硬體上執行。此單獨的硬體是底板管理控制器（BMC）。
通常情況下，白牌Baixxxx-Cloud-X10伺服器的IPMI 介面的預設使用者名稱為：ADMIN，密碼則貼在機箱前面板上，或者是機箱中的主機板上。IPMI 主機板整合管理晶片BMC的IP的首次設定，需要在伺服器開啟時按“DEL”鍵進入BIOS 設定，具體步驟略。如對該步驟設定感興趣，請參見《GPU直通+單節點單業務vlan的虛擬網路專案實戰》博文。
當IPMI介面的IP地址設定好之後，可通過WEB UI進入檢視伺服器監控系統，如節點1伺服器的IPMI介面的IP地址是10.129.255.21，使用https登入進入IPMI監控系統，如圖6所示。
圖6. 伺服器IPMI監控系統介面
2.4 伺服器資料介面
有關伺服器資料介面的IP 地址規劃，詳見表2。具體配置詳見《5.3.2.業務網路配置》的章節，這裡不再贅述。
2.5 伺服器管理介面
有關伺服器管理介面的IP 地址規劃，詳見表2。具體配置詳見《5.3.1.管理網路配置》的章節，這裡不再贅述。
作者：Varden 出處：http://www.cnblogs.com/varden/ 本文內容如有雷同，請聯絡作者！ 本文版權歸作者和部落格園共有，歡迎轉載，但未經作者同意必須保留此段宣告，且在文章頁面明顯位置給出原文連線，否則保留追究法律責任的權利。