1 概述

1.1 文件內容

本文件為某企業私有云技術路線設計文件。
1.2 背景描述

1.2.1 某企業私有云業務線規劃

近些年由於國內IDC市場發展迅速，某企業從戰略層面考慮，建造了自己的高等級資料中心，企業的決策者從未來發展的角度考慮，單純做資料中心場地銷售在現有激烈的市場競爭的環境中很難長時間利於不敗之地。因此作為企業未來發展的方向，需要構建自己企業私有云增加自身商業附加值。根據策略設計，企業高等級資料中心將主要面向企業客戶提供企業私有云服務。

1.2.2 私有云業務驅動力

1.2.2.1 業務目標客戶

根據第三方機構統計：

• 當前在製造、政府、網際網路（Web 2.0）、教育、金融市場規模較大，預計到2017年以上行業增長迅速、仍將是市場需求規模最大的行業。

• 製造業主要使用雲應用如協作類應用或一些CRM類的應用，這些應用不是某企業的強項，但是可以與這些應用開發商合作為其提供私有云平臺。

• Web2.0指網際網路公司如移動遊戲，線上遊戲，電子商務企業，其需要大量頻寬支撐業務運作，故也不是某企業的優勢所在。

• 中小金融、政府為大需求客戶，其對雲的要求是安全性和可靠性，即企業託管私有云。

某企業具有較強的專案經驗和客戶關係的行業：

• 電信

  • 政府

  • 金融

  • 教育

1.2.2.2 目標客戶的業務應用特性

由於某企業以後主要面向企業提供私有云服務，這與面向一般消費者有較大的不同，對服務保障提出了較高的要求，因此在銷售雲資源時，繫結銷售諸如安全、監控、報告等增值服務，並儘可能作為標準服務的一部分。

針對企業級客戶的需求特徵，某企業私有云的應具有如下特徵：

某企業的私有云將執行企業級工作負載。

1.2.3 私有云總體目標

在基於高等級資料中心的私有云層面，首先是雲端計算資料中心的建設，雲端計算資料中心相比傳統資料中心，單系統的應用資料中心，由於具備虛擬化、按需分配等與生俱來的特點，就具備當系統規模達到一定程度時，在系統建設價效比方面表現出很大的優勢。目前來說，雲端計算資料中心的建設所需要的軟硬體技術和產品，已經可以支撐成熟商用，所以在雲服務架構下的建設方案中，規劃和建設一個雲端計算資料中心，是可行的選擇。另外在基礎設施層面，按照雲端計算標準建設的基礎設施管理、運維管理、安全管理等技術，會給某企業業務擴充套件和運維中帶來相當的收益。

根據某企業私有云的業務發展規劃，將基於雲端計算及相關技術打造高效、綠色、節能和自動化管理的雲平臺。並基於雲平臺提供企業私有云託管服務。

2 技術選型分析

2.1 選型原則

作為IDC運營，需要考慮到經濟性和實用性，某企業私有管理平臺應選用最佳的價效比軟體部署方案，現階段在滿足試點要求指標的前提下，採用免費的軟體方案，得到最佳的投入產出比。因此考慮某企業私有云管理平臺將基於開源雲平臺開發定製，目前業界的開源雲平臺主要有CloudStack，Eucalyptus，OpenStack，OpenNebula等，平臺的技術選型將遵循以下原則。

a) 社群規模是對開源社群運作情況的綜合評定，判定標準主要包括社群主題數量、社群討論帖數量、社群參與人數、社群總人數，開發者人數和貢獻機構數量等。社群通過討論主題和討論帖子進行一切事物的討論包括髮展方向，版本更新，功能增加，錯誤處理，開發討論等等，數量直接說明專案發展情況；社群人數參與人數為參與設計討論的人員數量；社群開發者人數與貢獻機構數量決定了專案發展速度、質量。綜合評定以上資訊可以較好的比較社群規模，社群規模越大，越有利於專案健康、高效、民主的發展。

b) 市場使用規模表現了專案至今為止的市場接受程度。開源雲平臺已經擁有的使用者與使用案例在一定程度上說明了平臺的整體能力。另一個層面，分析使用者的領域、地域的使用情況，可以一定程度說明開源雲端計算平臺的普適性。

c) 開放性是開源雲平臺相對於企業雲產品的最大特點。開放程度越好的開源雲平臺更易於使用者對雲平臺的瞭解與使用。具體開放性的比較可以通過：開源License、開源雲平臺提供的可程式設計介面（API）、開源雲平臺文件的詳細程度。

d) 可用性與可靠性是開源雲平臺的基礎。開源雲平臺的整體架構設計決定了雲平臺自身的特性與可用功能，也決定了平臺可使用的高可用方案，決定了開源雲平臺自身的可靠性。通過比較開源雲平臺的整體架構以及官方推薦的高可用方案，評價四個開源雲平臺的可用性與可靠性。

e) 功能性的比較主要通過對Hypervisor的支援情況、儲存的支援情況、網路的支援情況、虛擬資源分配管理與虛擬資源計量的分析。私有云需要的基本功能，各個平臺都有實現，但功能的具體實現程度與新興技術的支援程度，四個開源雲平臺還存在一定差異。

f) 可擴充套件性是開源雲平臺定製化程度的體現。雖然開源雲平臺原始碼完全開源，但二次開發也並非將原有平臺底層邏輯重新實現，而是通過平臺提供的介面或是以外掛的形式實現功能上的擴充套件與增強。另一方面，私有云擴充套件能力也包括與公有云協作實現混合雲的方案，為此，分析四個開源雲平臺的介面協議、外掛模式和與公有云協作方案，實現可擴充套件性的比較。

g) 涉及到基於開源雲平臺的客戶化，二次開發成本是一定會考慮到的一個方面。通過分析四個開源雲平臺的團隊再開發難度、再開發所需要的技能與二次開發提供商，比較開源雲平臺的二次開發成本。

h) 開源雲平臺會持續推進併發布新的版本，版本釋出週期一定程度上影響使用者的使用。若版本更新太快會導致使用者系統更新過於頻繁，若版本更新太慢會導致新功能的提供延遲，根據比較四個開源雲平臺以往的版本釋出週期，來預測評估社群對新版本釋出的能力。

i) 與需求的適應度，選用的開源雲平臺應該最大程度的適應某企業私有云管理平臺的需求，並結合某企業現有的技術實力與團隊技能，降低後期平臺的開發、維護工作量，以避免平臺建設的投入過大導致收益下降。
2.2 開源雲平臺的比較一覽





2.3 與需求的適應度
**
選用的開源雲平臺應該最大程度的適應某企業私有云平臺的需求，並結合某企業現有的技術實力與團隊技能，降低後期平臺的開發、維護工作量，以避免平臺建設的投入過大導致收益下降。從需求的適應度來看，依據某企業在OpenStack領域的開發與服務技能，結合其整體功能完備性，架構優越性，更適用與作為某企業私有云平臺的構建技術。此外，當前的OpenStack版本已經開始通過ironic模組支援對金屬裸機的自動化部署，並且在不斷髮展與完善中，更符合某企業私有云服務開發的需求，節省開發工作量與投資成本。
**2.4 開源雲平臺的選型結論

OpenStack藉助著強大的社群規模與大量的貢獻者規模，保持著高速發展，在開源基礎設施雲領域表現搶眼，並漸漸形成生態系統。在吸引到IBM、Intel等業界巨頭的支援後，原本穩定性的問題的得到了很好的解決，整體前景較好。

CloudStack曾經為商業軟體，總體功能較為齊全，系統相對穩定，近期由於OpenStack社群的高速發展，關注度下降的同時存在使用者向OpenStack流失的情況。

Eucalyptus作為AWS的私有云專案，設計與功能大多沿用AWS，長期使用AWS的使用者上手容易，並且與AWS公有云有很好的相容性。但擴充套件性相對其它平臺比價一般，使用者相對單一，社群發展較為緩慢。

OpenNebula目標為輕便簡單的企業雲，所實現的功能基本涵蓋簡單的公有云，私有云及混合雲，但社群規模較小、使用者群、貢獻者規模都較小，整體競爭力較低。

各個平臺設計架構上的不同，每個平臺有著各自的特點與相對固定的使用者。對於某企業建立雲化資料中心提供私有云服務而言，OpenStack從某企業內部技能，平臺架構，功能匹配度，二次開發量及維護工作方面，相對於其他三種開源雲平臺優勢明顯。我們建議中心基於OpenStack建設開發測試環境私有云平臺。

3 落地實施

3.1 分步建設策略

某企業雲服務產品體系總體建設策略可歸納為“一個基礎，兩個突破”：

一個基礎

藉助於私有云技術，建立集中的基礎執行平臺，提供基於彈性計算資源供給的能力，有效提升系統使用率及自動化管理程度，降低建設運營成本。

** 突破一**

未來可以推出PaaS，突破傳統的應用開發模式PaaS，在雲平臺上實現應基於模式的平臺部署服務，參與乃至引市場在PaaS方面的建設。

** 突破二**

未來考慮整合SaaS，向行業突破整合SaaS應用，一方面利用優質的應用基礎推動雲平臺軟體即服務的市場化，另一方面利用優質客戶資源吸收區域內專業應用，實現應用數量的規模發展，以及由通用應用領域向行業領域挺進。
3.2 落地實現

根據分步建設規劃策略，我們對實現可管理成熟度供應商能力的落地實現進行分解，並結合某企業業務規劃戰略，對私有云服務平臺的落地實施提供建議。

隨著某企業資料中心的建設程序，對新資料中心私有云服務平臺建設也將隨之開展，而第一階段的定位實現可管理的私有云服務平臺落地實施。

** 階段性建設目標**

• 完成資料中心首個雲資源池（PoD）的構建；

  • 完成雲化資料中心的基礎設施與管理框架的構建；

  • 實現雲管理平臺基本的資源管理能力和自動化部署能力；

  • 完成對雲化資料中心資源與雲管理平臺的基礎管理控制功能；

  • 實現雲管理平臺基本業務功能，包括門戶，客戶管理，服務產品與目錄管理，服務請求處理；

  ** 實施範圍**

  在新資料中心中實現第一個PoD的建設，並構建私有云管理平臺基礎功能，提供基本的雲服務產品的對外運營。

  實施時間段定義

新資料中心基礎架構建設完成後半年。

4 私有云平臺測試要點

4.1 私有云管理平臺

4.1.1 業務功能

根據業務功能要求對私有云管理平臺的各項業務功能進行測試，測試依據使用者使用場景進行，可選取關鍵的業務場景進行測試，包括客戶管理，服務請求管理，使用者管理，訂單管理，計費管理，服務目錄與產品管理資源管理等內容。同時關注友好性和可服務性。

4.1.2 部署能力

驗證雲私有云管理平臺的部署能力與規模承載能力，測試對資源的交付與部署的效率。主要關注靈活性，可擴充套件性，Hypervisor支援程度，併發部署與處理效能，平臺可容載與管理的資源數量等。

4.1.3 整合能力

驗證私有云管理平臺的介面功能，測試介面是否具備多樣性，各類介面提供的服務是否滿足管理與整合的需求，包括API介面的型別，執行效率，整合開發的難以程度，系統間訊息傳遞整合介面的效率等。

4.2 資源池

4.2.1 計算資源

計算資源裝置測試基本按照計算裝置提供廠商的基線提供相關報告與依據即可。

4.2.2 儲存資源

儲存裝置的測試，主要檢驗方案和裝置能正常執行業務，且在各種故障場景下不影響資料中心的正常執行，同時能夠提供持續性的資料保護能力。

儲存部分的測試主要分成基本功能測試、可靠性測試和效能測試。

基本功能測試主要針對裝置本身，檢驗裝置是否能正常加電，系統是否能正常執行，鏈路間是否通暢、穩定等；一般採用裝置廠家的檢測方法判定。

可靠性測試主要檢驗裝置內模組故障對系統的執行是否產生影響，鏈路中斷對儲存整體產生的波動等；一般需要針對裝置的各種組成模組，模擬對應的故障場景，同時進行不間斷業務執行來判定。

效能測試主要檢驗儲存裝置自身的各種效能指標，如儲存頻寬、IOPS、SAN交換機效能、資料複製效能等；一般可採用IOmeter、交換機監控、DD拷貝等方式判定。

4.2.3 網路資源

網路資源在構建時應考慮以下測試要點：

• 檢查閘道器裝置到伺服器的連通性；

• 檢查閘道器裝置到儲存裝置的連通性；

• 檢查新建網路環境和某企業現有網路環境的連通性；

• 檢查新建網路環境和Internet的連通性；

• 檢查雲管理平臺不同VLAN虛擬機器之間的連通性；

• 檢查雲管理平臺和資源池到儲存裝置之間的連通性；

• 檢查雲管理平臺虛擬機器和外部網路的連通性；

• 檢查資源池同一VLAN內虛擬機器的連通性；

• 檢查資源池不同VLAN內虛擬機器的連通性；

• 檢查資源池內虛擬機器和外部網路的連通性。

4.3 安全體系

** 物理安全：**

測試要點：機櫃配置獨立門鎖

測試方法：機櫃有配置門鎖並且不是通用。

** 網路安全**

測試要點：防火牆是否支援虛擬化。

測試方法：為單個使用者建立獨立虛擬防火牆，安全策略不相互影響，能夠單獨出安全報告。

測試要點：IPS支援虛擬化

測試方法：為單個使用者建立獨立虛擬IPS，安全策略不相互影響，能夠單獨出安全報告。

測試要點：VPN支援多種協議。

測試方法：測試VPN支援IPSEC，SSL和PPTP VPN方式

** 儲存安全**

測試要點：儲存裝置支援儲存加密

測試方法：儲存裝置是否開啟儲存加密功能

測試要點：儲存裝置是否配置了合理的管理口令

測試方法：驗證是否可以不用口令或者預設口令登陸儲存管理介面

** 伺服器安全**

測試要點：IPMI是否安全配置

測試方法：參考IPMI的安全配置最佳實踐，檢查IPMI協議是否安全配置

測試要點：BIOS是否安全配置

測試方法：檢查BIOS，是否根據規範進行安全配置，如啟動順序，管理口令，禁用的裝置等

測試要點：PXE是否安全配置

測試方法：檢查PXE是否安全配置，環境中支援的PXE的DHCP伺服器是否安全配置。

** 虛擬化安全**

測試要點：虛擬化元件是否安全配置（包括虛擬網路、虛擬儲存和虛擬機器）

測試方法：參照虛擬化元件的安全配置最佳實踐，檢查虛擬化元件是否安全配置

測試要點：虛擬化管理系統是否安全配置

測試方法：檢查虛擬化管理系統是否進行了安全配置，和其他系統的介面許可權是否合理。

測試要點：建立的虛擬機器模板是否有存在安全弱點

測試方法：使用弱點評估工具掃描虛擬機器模板，檢查是否存在安全弱點

系統安全

測試要點：系統是否安全配置

測試方法：系統安全配置規範，檢查系統是否被安全配置

資料安全

測試要點：殘餘資料是否被有效清除

測試方法：檢查雲管理平臺在分配和回收磁碟空間時是否會進行空間清零。

運維安全

測試要點：所有多雲環境的管理操作是否都是通過堡壘進行的

測試方法：嘗試是否有其他直接對雲環境進行管理操作的方式。