1 下一代雲端儲存系統簡介

1.1雲端儲存系統簡介

資訊處理技術、網際網路技術、雲端計算技術的誕生與成長對各行各業產生著潛移默化的影響。網際網路時代，資料採集手段紛繁複雜，形態五花八門，半結構化與非結構化資料體量日趨增大，傳統的儲架構已經逐漸顯現出自身的固有侷限。

在傳統資料中心中，以OLTP和OLAP為代表的資料庫應用佔據了昂貴但又低效率的線上儲存設施，交易記錄、分析性資料則消耗了大量的後端儲存空間。異構的儲存裝置難以應對大資料浪潮帶來需求浪潮，無法及時利用資料支撐業務決策，並在“大、智、雲、移”的時代提供多樣化服務。

下一代雲端儲存系統融合分散式儲存技術，利用標準化硬體設施構造儲存池，虛擬化已有儲存設施空間，互聯互通，打破資料排程壁壘;在統一的系統下提供了物件、塊、和檔案儲存服務;並且具有可靠性高、管理簡便的優點。同時，下一代雲端儲存系統具有靈活的擴充套件性，能夠提供PB到乃至EB級的儲存能力。

1.2雲端儲存系統設計目標

下一代雲端儲存系統從行業切實需求出發，面向資料中心私有云場景，實現大規模、大容量的儲存資源池，整合替代現有儲存設施，支撐各類OLTP或OLAP業務應用。為了能夠對各類決策支撐系統、研發測試系統提供有效支撐;突破隨機訪問海量資料的效能瓶頸;解決資料安全性、儲存平滑擴容的問題，下一代雲端儲存系統在規劃建設過程中具有以下幾點目標：

1.高效能

下一代雲端儲存系統首先需要有能力提供足夠的效能，能夠覆蓋到使用者大部分業務需求，滿足高併發或大量的業務資料分析等需求。

2.高可用性

下一代雲端儲存系統需要滿足更高要求的高可用性。儲存和資料高可靠性是業務活動連續開展的基礎支撐。在儲存發生故障時候，有相應的高可用機制來支撐和保障資料的自動恢復和動態遷移。

3.資源動態擴充套件

下一代雲端儲存系統能夠支撐資源的動態伸縮以及資源池的動態擴充套件，能夠按需分配，彈性擴充套件。在系統擴容的時候，能夠做到效能和容量的線性擴充套件，避免資源的浪費。

4.服務、介面的多樣性

下一代雲端儲存系統能夠提供多樣的儲存服務，包括塊裝置服務來滿足資料庫型別的儲存要求;檔案系統、物件等儲存服務來滿足半結構化資料和非結構化資料的儲存要求。因此，這就要求儲存能夠提供豐富的標準介面，包括檔案系統介面(NFS、CIFS)、塊介面(iSCIS、FC)或者物件介面(S3、SWIFT)以及對內能夠提供標準的管理介面。

5.高可管理性

下一代雲端儲存系統在日常部署、管理、監控的環節能夠實現自動化和視覺化，提高儲存資源服務的可管理性，包括資源分配、資源監控、故障告警等多方面的內容，提高運維管理人員的管理效率;並且逐步支援智慧化的採集和分析，高效地利用現有資源，包括對儲存IOPS、儲存吞吐量以及儲存容量的使用進行動態的監測和預測，方便管理人員對儲存現有情況進行了解和及時對未來儲存的擴容進行規劃。

2 下一代雲端儲存系統架構

2.1雲端儲存系統總體方案架構

下一代雲端儲存系統的核心是統一管理儲存資源，面向雲平臺，提供多樣化的資料服務。下一代雲端儲存系統將應用與底層儲存解耦，不依賴於傳統裝置和應用廠商的繫結。在未來資料中心全面轉型，整體上雲的過程中，實現儲存與計算、網路資源的聯動，順應資料價值鏈向服務轉移。

圖 2-1 下一代雲端儲存系統架構示意圖

下一代雲端儲存系統主要由基於分散式架構的軟體定義儲存系統和輕量化異構儲存統一管理元件構成。

基於分散式架構的軟體定義儲存執行在標準的X86伺服器之上，利用虛擬化技術，將叢集中的儲存資源虛擬化為儲存池，並向上提供塊裝置、檔案和物件儲存服務。同時，軟體定義儲存具有高效能，能夠輕鬆應對各類高負載管理的要求，其中包括業務關鍵型應用與核心業務系統;多副本及強一致性技術的應用提供高可用特性;極強的橫向擴充套件能力則為業務擴張帶來的管理維護提供了極大的靈活性和便利。

輕量化異構儲存統一管理元件實現了分散式儲存和集中式儲存的統一自動化管理，分散式軟體定義儲存通過面向儲存統一管理元件開放儲存系統的控制介面，實現儲存系統的監控與運維。通過開放的介面，異構儲存統一管理元件可以實現分散式儲存系統的資源劃分與服務編排，並對集中式儲存裝置劃分基於不同QoS策略的虛擬卷服務於雲平臺，實現與計算、網路的聯動。

2.2系統元件及功能

2.2.1基於分散式架構的軟體定義儲存系統

基於分散式架構的軟體定義儲存技術集中提供包括物件、塊、和檔案在內的多種儲存服務，並且具有可靠性高、管理簡便的優點，並且具有靈活的擴充套件性，能夠提供PB到乃至EB級的儲存能力。

基於分散式架構的軟體定義儲存技術把所有伺服器的硬碟虛擬化成為若干個資源池，提供虛擬卷的建立/刪除和快照等功能，提供北向虛擬卷形式的儲存服務。

軟體定義儲存系統分為硬體裝置層、引擎驅動層、特性功能層、服務介面層以及監控管理層五個層面，具體的功能架構圖如下所示：

圖 2-2 軟體定義儲存系統層級示意圖

1.硬體裝置層

基於分散式架構的軟體定義儲存系統通基於標準的X86伺服器，配以不同的磁碟介質，包括傳統的機械磁碟HDD、SATA-SSD以及PCIE-SSD等，來提供不同等級的IOPS和頻寬等服務效能，同時10GE網絡卡的廣泛應用也讓系統在傳輸和重建過程中具有更快的速度。

2.驅動引擎層

基於分散式架構的軟體定義儲存系統採用分散式演算法(例如CRUSH、DHT等)將資料趨近於隨機的分散於叢集中的所有磁碟中，避免了資料儲存熱點的產生。資料的存放通過多副本提供高可用性，每個副本分散於不同的伺服器上，並且根據業務需求能夠遵循強一致性。單個硬碟或節點的故障不影響業務的連續性，一旦發生故障，系統會自動重建。

3.特性功能層

基於分散式架構的軟體定義儲存系統能夠實現精簡配置，即支援提前劃分儲存卷的大小，但是加分配時按照資料寫入的規模自動增長，節省可用儲存空間。在卷級層面可以實現實時QoS，調整附加在捲上的限制屬性，同時為了業務的需要，系統也支援線上擴容和縮容，保證其他卷能夠獲取足夠的空間。除此之外，還有快照、容災、備份等功能。

4.服務介面層

基於分散式的軟體定義儲存系統能夠提供多樣化的儲存服務，支援基於開放Linux平臺的SCSI裝置輸出，支援iSCSI介面協議，支援FC介面協議和基於FC的硬體。

5.運維管理層

基於分散式架構的軟體定義儲存系統能夠通過向用戶提供視覺化互動介面來完成系統的自動化配置、線上升級、告警、監控和日誌等功能。包括系統日誌和操作日誌。系統日誌記錄重要的系統事件，操作日誌記錄操作員行為，便於排錯、審計以及跟蹤。

2.2.2輕量化異構儲存統一管理元件

輕量化異構儲存統一管理元件基於Openstack Cinder元件，實現了對後端儲存資源的統一管理，來提供業務驅動、自動化的資料服務。輕量化異構儲存統一管理元件將應用與底層儲存解耦，解除裝置廠商的繫結，打破異構儲存裝置之間的壁壘，將儲存功能應用化，支援檔案、塊、物件等型別儲存資源分配服務。

在雲端計算應用場景下，從租戶的角度看來，將不同架構的儲存封裝起來，無論是傳統的集中式儲存還是分散式儲存都進行統一管理並向上提供服務。

圖 2-3輕量化異構儲存統一管理元件架構示意圖

輕量化異構儲存統一管理元件向下可以將各裝置中可提供相同能力的儲存資源聚集起來，進行統一管理。這一功能基於Openstack的Cinder元件，通過不同儲存廠商提供的面向OpenStack的Cinder的驅動來獲取不同儲存裝置的基本資訊，包括磁碟型別、空間大小、服務能力等。在獲取不同的儲存裝置資訊之後，將效能、服務相近的儲存裝置進行編排、分組，以供後續使用。

輕量化異構儲存統一管理元件可以實現業務部署自動化、運維監控智慧化。其中，業務部署自動化是指支援運維人員編輯儲存服務模板，目的是為了簡化建立呼叫儲存的流程。在申請儲存資源的過程中，僅需要輸入儲存容量和卷的數量即可完成資源的申請，統一管理元件會根據事先編排好的模板自動呼叫不同模組來完成具體工作。同時該元件也支援運維監控的智慧化，即針對不同的儲存池，不同的虛擬卷，都能夠實時監控效能與故障，對儲存捲進行有效性、空間、資料可用性等方面進行的監控管理;支援在儲存系統的各級軟硬體產生故障時，由控制檯向管理員告警提示;支援卷級的QoS編排，保證不同租戶之間的服務質量。

輕量化異構儲存統一管理元件北向通過REST介面與虛擬化平臺或者容器雲平臺完成相容，實現儲存資源服務的統一發放。OpenStack的不同元件如Cinder、Nova等與異構儲存管理元件，完成卷的劃分與掛載，實現雲硬碟的分配或者虛擬機器例項建立在雲硬碟中;Kubernets中Persist Volume 儲存系統則通過Cinder提供的外掛，實現應用和服務的狀態儲存。

3 下一代雲端儲存系統特性

3.1高效能

下一代雲端儲存系統基於主流的開源分散式儲存技術以及開源雲平臺中的儲存管理模組，充分滿足國內企業自主可控的要求。下一代雲端儲存系統能夠勝任高併發、高效率的需求，與主流NVMe快閃記憶體相結合，突破單點效能瓶頸，適應多種場景需求。

3.1.1 I/O並行提升效能

下一代雲端儲存系統提供了類似於條帶化技術的並行I/O功能，滿足支援業務開展的高效能需求。獨立儲存裝置的吞吐量限制，極大影響了儲存的效能和伸縮性，所以儲存系統一般都支援把連續的資訊分片儲存於多個裝置以增加吞吐量和效能。在下一代雲端儲存系統中，資料會均勻分佈到儲存池中所有的硬碟上。當某臺應用伺服器進行讀寫時，叢集中所有的節點都會對其提供服務，這樣能很好地保證IO併發。

3.1.2快閃記憶體的應用與分級儲存

下一代雲端儲存系統支援各類介面快閃記憶體介質，通過快閃記憶體介質的使用，來提供高效能的IO。當前快閃記憶體儲存開始進入開始逐漸進入資料中心市場，如表3-1所示，快閃記憶體相比HHD具有如下差別：

表 3-1 快閃記憶體與HDD特性對比

固態快閃記憶體SSD作為新的儲存技術，相比HDD具有超快的資料訪問速度，隨機資料訪問速度比HDD快100多倍，響應時間從毫秒級縮短到亞毫秒級(0.1ms)，將IOPS從HDD的200-300提升至數萬。SSD的高效能充分滿足了儲存系統I/O負荷瓶頸帶來的困擾。

SSD在下一代雲端儲存系統中的應用有兩種不同的方式，均能提升效能，一是作為讀寫快取，二是作為資料盤直接儲存資料。

在第一種情況下，下一代雲端儲存系統採用快取演算法對熱點資料進行優化，使熱點資料儘可能駐留在高速快閃記憶體儲存上，以提升系統性能;而對於訪問不頻繁的資料則從高速儲存中遷移到低速機械磁碟做持久化儲存。這種方式對於大量讀取場景下的業務系統具有較大的提升;或者將高速儲存裝置作為全域性快取，資料先寫入高速儲存中，在適當的時機再將資料同步入後端儲存中，這種方式同樣可以在滿足效能要求的前提下明顯降低儲存成本。

圖 3-1 下一代雲端儲存系統的多級快取

面對對效能有強烈需求的業務場景，第二種全快閃記憶體模式能夠大幅度增強對各類高要求負載的管理，其中包括業務關鍵型應用、核心業務系統等等。這種情況下，可以充分發揮快閃記憶體儲存的高效能讀寫，但是成本較高。

3.2高可靠性

3.2.1資料多副本儲存

下一代雲端儲存系統採取多副本備份機制替換傳統的RAID模式來保證核心資料的完整性。同一個資料，在系統的不同節點的不同磁碟上會有大於等於三個副本的儲存，這樣，當節點或者磁碟產生故障的時候，資料可以從冗餘的副本中讀取並恢復。同時所有的資料均勻的分佈在所有的節點上以達到負載均衡的效果，避免區域性熱點的出現。在下一代雲端儲存系統具體部署時，所有的副本採取跨機架同步分佈策略，確保單一機架掉電後的資料可用性。

3.2.2保持資料一致

下一代雲端儲存系統支援強一致性和最終一致性兩種模型，面向不同的業務場景需求。保證租戶成功寫入一份資料時，幾個副本都保持一致，在讀取資料時，無論從任何一個副本上進行，都能夠保證取到最新的、可用的資料。強一致性情況下，保證對副本的讀寫操作會產生交集，從而保證可以讀取到最新版本;無論更新操作實在哪一個副本執行，之後所有的讀操作都要能獲得最新的資料。最終一致性情況下，保證使用者最終能夠讀取到某操作對系統特定資料的更新，針對的是讀寫都比較頻繁的場景，是一個比較折中的策略。

3.2.3服務質量保證(QoS)

無論任何行業，業務的連續性與高質量是主流需求，下一代雲端儲存系統提供了多種場景下的服務質量保證手段：

1、提供面向卷級的伺服器訪問QoS，充分避免非關鍵應用佔用過多頻寬;

2、在資料較長時間處於不一致的狀態時，自動觸發資料重建，在此過程中支援QoS，保證重建過程中佔用過多頻寬，避免影響關鍵業務的穩定執行。

3.2.4副本安全邊界

規模龐大的分散式系統，必須考慮多故障的安全隱患，以統計學的規律和概率分佈來看，磁碟數量越多，磁碟發生故障的概率越大，甚至幾個磁碟同時發生故障。不斷的故障會造成系統大部分資源都用於資料重建，影響業務的穩定執行。因此，下一代雲端儲存系統中，為保證系統達到預期的可靠性目標，必須在保證高併發的前提下，儘量縮小副本分佈的磁碟範圍，即設定安全邊界，以防止資料丟失的風險陡然上升。

副本安全邊界有兩種模式，一是基於池級的安全邊界管理，設定儲存池最大跨越的磁碟數量;二是基於卷級的安全邊界管理，即設定虛擬卷最大跨越的磁碟數量。

3.3可擴充套件性

下一代雲端儲存系統支援大規模擴充套件，最低三節點，直至上千節點，隨著儲存裝置數量的增長，整個系統的吞吐量和IOPS等效能指標也同時會隨之增長。並且容量和效能呈線性擴充套件。一旦需求有所變化，即可通過模組化的方式新增更多的儲存資源和計算資源。在擴容和縮容的過程中間，分散式演算法保證了資料的負載均衡，結合自動的QoS策略，在使用者無感知的情況下，保證不會與現有業務產生影響，保障系統的穩定執行。

圖 3-2下一代雲端儲存系統的橫向擴充套件

3.4易管理性

3.4.1相容第三方管理監控介面

業界主流Web管理介面主要包括SOAP和REST標準，其中後者架構更為輕便，新生系統多采用後者。VMware體系至今仍以SOAP標準為主，而面向OpenStack的介面則遵循REST標準。下一代雲端儲存系統所提供的介面能夠相容這兩種標準。

3.4.2虛擬化和私有云應用支援

下一代雲端儲存系統支援主流作業系統，可以部署在RedHat、SUSE、CentOS以及Ubuntu上。虛擬化平臺則支援VMware、Hyper-V以及KVM等。支援通過RESTful API標準介面與OpenStack 的Cinder元件和SWFIT元件進行互動，向私有云應用提供儲存支援。

3.5高階功能

3.5.1自動精簡配置

下一代雲端儲存系統支援自動精簡配置功能，在建立邏輯卷時，並不真實佔用實際物理資源，而是在邏輯卷使用過程中，按需實時分配實際物理空間資源，節約了儲存資源，簡化了儲存規劃難度。在儲存系統的使用過程中，租戶在資源申請階段往往無法準確預估在業務廣泛展開後的具體需求，因而會多申請部分的儲存空間作為緩衝，而這部分資源往往無法做到物盡其用，存在了大量的浪費現象。在實際使用中，可以設定容量閾值，當剩餘儲存容量低於閾值時，進行提示。

圖 3-3 下一代雲端儲存精簡配置

3.5.2卷級快照和連結克隆

下一代雲端儲存系統提供卷級的快照功能，進行增量備份，並能根據需要快速恢復到每一個備份點，對業務中斷後提供快速的恢復功能保證，加強系統整體的連續性，提供了業務質量保證的手段與方法。

同時此係統還支援連結克隆的機制，基於一個快照創建出多個克隆卷，創建出來的克隆卷與原始卷中的資料內容一致，克隆卷的修改不會影響原始卷，使用者既可以通過快照來還原卷以恢復丟失的資料，也可以從快照來建立模板，直接啟動新的虛擬機器以保證業務的連續性。

圖 3-4下一代雲端儲存系統採用增量快照

3.5.3全域性負載均衡

下一代雲端儲存系統採用的分散式架構使得資料的IO操作均勻分佈在不同伺服器的不同硬碟上，避免了局部熱點的出現，實現全域性的負載均衡。

系統將資料塊打散存放在不同伺服器的不同硬碟上，冷熱不均的資料均勻分佈在不同的伺服器上，不會出現集中的熱點;資料的分配演算法保證主副本與其餘副本在不同伺服器和不同硬碟上均勻分佈;同時，在節點或者硬碟故障時，在資料重建的過程中，也實現全域性負載均衡。

4 下一代雲端儲存系統部署方案

4.1部署拓撲

資料中心內部系統的核心要求是“穩定可靠”，一是指系統在執行過程中有能力提供連續可靠的服務，長時間無故障執行;二是指當故障發生之後，有能力快速定位，及時排查，故障範圍不蔓延。

分離式部署的方式，使得系統與雲平臺系統相獨立，避免了計算和儲存爭搶CPU/記憶體/網路等物理資源，一旦某一方資源需求驟升導致的另一方資源枯竭，從而影響效能並在整個基礎架構中產生的漣漪效應;和在超融合部署方式在叢集規模較大後，網路、硬碟、伺服器發生故障的概率都會增大;以及資料重刪、壓縮、加密糾刪碼等功能、故障的自修復和資料功能實現都會消耗一定的系統資源，導致效能下降和抖動等問題。

分離式部署相比超融合方式的優點：

表4-1分離式部署與超融合的對比

從業務穩定、系統可靠的角度出發，下一代雲端儲存系統採用分離式部署的方式，即儲存系統伺服器獨立於計算資源伺服器。這一部署方式使得儲存與計算相獨立，因而兩者之間的故障不會相互影響，易於後期運維故障排查;並且計算與儲存的配比可以根據業務場景的需求自行調配，靈活程度高，如果需要擴充套件資源的話，也可以單獨對儲存進行擴充套件;同時，計算與儲存分層管理，也清晰了管理許可權。具體部署架構如下所示：

圖4-1下一代雲端儲存系統物理部署方案

其中，儲存管理節點需要在兩個以上的節點上部署以保證高可用，同樣，輕量化異構儲存統一管理元件也需要在兩個節點上進行部署來提供高可用。

4.2硬體規格

下一代雲端儲存系統基於標準的X86伺服器，軟硬體解耦，解除廠商繫結，支援裝置利舊，保護歷史投資。下一代雲端儲存系統對硬體平臺具有如下基本要求：

1.執行在標準的X86伺服器上;

2.基於分散式架構的軟體定義儲存系統叢集內部伺服器硬碟數量必須一致;

3.軟體定義儲存正常執行需要佔用單個伺服器的處理器的核心數量需大於

4+N(N是硬碟個數，一個硬碟對應一個核心)，例如：單個伺服器5個硬碟，共計需要4+5=9個核心，則伺服器需配置12核處理器;輕量化異構儲存統一管理服務需要8核以上的處理器;

4.軟體定義儲存正常執行的伺服器的實體記憶體需滿足如下條件：

大於10GB +(N*2GB)(N是伺服器上所有硬碟總計儲存容量，單位TB)，例如：單個伺服器5個硬碟，每個硬碟4TB，則共計需要10GB+20GB*2=40GB，伺服器需要配置64GB實體記憶體;輕量化異構儲存統一管理服務需要16GB以上的實體記憶體;一般情況下，隨著記憶體容量的增大，效能也會越好;

5.分散式架構的儲存叢集效能很大程度上取決於儲存介質的有效選擇。下一代雲端儲存系統內部伺服器須有板載PCIe插槽，支援使用快速的SSD硬碟作為快取來為HDD加速，或者直接採用全快閃記憶體架構。使用SSD作為快取加速的場景下，通常建議一個SSD對應3~4塊HDD。使用PCIe/NVMe SSD作為快取加速的場景下，通常建議一個SSD對應8~10塊HDD。

6.伺服器需要四個網口支援雙平面，並且兩兩繫結(配置網口聚合(Bond)，模式為802.3ad(Bond模式為4)，此模式提供了容錯性，提供高網路連線的可用，同時提供了相當的效能。具體的儲存平面頻寬要求不低於10Gbps。

4.3組網方案及網路規劃

由於資料的機密性與敏感性，業務相互之間的隔離對於在資料中心內部非常重要。在資料中心內部，資料的訪問需要受到嚴格控制，必須進行業務與管理的網路相互隔離。管理網段與租戶網路三層互通，租戶通過管理網段訪問下一代雲端儲存系統的Portal介面並下發增、刪、檢、查等管理指令;業務網段則負責業務資料的傳輸，當儲存空間以卷的形式通過業務網段掛載給前端業務系統，並在此網段上提供服務。

按照分散式儲存的正規化，下一代雲端儲存系統的管理和業務分屬兩個網段，互相獨立，互不影響，資料傳輸只在業務網段上進行，管理與業務通過伺服器通訊，無法通過網路互訪。

圖4-2下一代雲端儲存系統網路拓撲示意圖

在業務網段上，規劃每個伺服器由兩根網線分別連線到兩臺交換機。在管理網段上，規劃每個伺服器由兩根網線分別連線兩臺交換機。通過節點級的雙網絡卡主備以及叢集級的交換機主備來提供網路高可靠性。兩個網段使用獨立的物理網絡卡進行隔離，在條件不滿足的情況下使用不同VLAN隔離。

依據木桶效應，一個系統的整體效能上限往往是由系統中的薄弱環節決定。當叢集採用混合儲存的配置時，標準的10Gbps高速網路能夠滿足相當規模的叢集在負載均衡、資料重建時的壓力;然而，當叢集採用全快閃記憶體架構時，硬碟效能將大幅提升，此時標準的10Gbps網路有可能會成為系統中的短板，56 Gbps InfiniBand網路乃至更高速的100 Gbps網路，近似無阻塞通訊，突破儲存系統內部交換的瓶頸。在InfiniBand網路中，通訊時延控制於納秒級，計算儲存資訊及時傳遞，配合SSD的高速讀寫，具有可觀的效能。

5 下一代雲端儲存系統應用場景

5.1下一代雲端儲存系統和虛擬化平臺

OpenStack提供標準的API介面來管理整個底層架構資源。OpenStack 提供塊裝置儲存服務的元件Cinder，本質上是一個資源管理元件，將後端不同的儲存裝置進行封裝，向外提供統一的API，本質上並不是一個儲存系統，而是使用外掛的方式，結合不同後端儲存的驅動提供儲存服務，核心是對卷的各種操作與管理。包括通過虛擬卷的方式為虛擬機器提供雲硬碟，或者可以用於儲存並啟動虛擬機器例項。在虛擬機器的各個生命週期中，具體能夠實現如下幾種操作：

1、在建立虛擬機器的時候，需要對捲進行建立和掛載操作;

2、在使用虛擬機器的時候，需要對捲進行擴充套件、備份操作;

3、在刪除虛擬機器的時候需要對捲進行分離、刪除操作。

通過Cinder元件，使用者可以方便、高效地管理虛擬機器資料。下圖展示了Cinder元件使用後端儲存的示意圖。計算虛擬化元件Nova與儲存管理元件Cinder之間通過RabbitMQ訊息佇列進行通訊。：

具體的呼叫流程如下：

1、使用者通過頁面或者命令列發出儲存管理請求，並通過Cinder-API發出;

2、Cinder-API通過RabbitMQ訊息佇列將此訊息加入Cinder-scheduler中，依次進行排程;

3、Cinder-scheduler通過RabbitMQ訊息佇列與Cinder-Volume通訊，將建立、掛載等卷管理請求進行傳遞;

4、Cinder-volume收到儲存資源請求之後，向後端的下一代雲端儲存系統通訊，進行操作，執行請求。

自此，完成了使用者的一個儲存資源管理操作請求

圖5-1下一代雲端儲存系統在OpenStack中的應用

5.2下一代雲端儲存系統與容器雲平臺

容器虛擬化技術已經成為一種被大家廣泛認可的伺服器資源共享方式，容器技術可以在按需構建容器技術作業系統例項的過程當中為系統管理員提供極大的靈活性。容器技術為應用程式提供了隔離的執行空間，每個容器內都包含一個獨享的完整使用者環境空間，並且一個容器內的變動不會影響其他容器的執行環境。

下一代雲端儲存系統通過容器引擎卷外掛或者編排排程的API接受北向的建立、刪除、載入、解除安裝和遷移資料卷等實際的儲存操作請求，並傳遞給底層的資料平面去實現。Kubernetes作為其叢集管理工具，基於其外掛化的設計，將有狀態的資料儲存在以 Persistent Volume(PV)為基礎的儲存系統。

 

轉自：http://stor.51cto.com/art/201711/556003.htm