五大常見儲存系統PK | Ceph、GlusterFS、MooseFS、HDFS、DRBD

阿新 • • 發佈：2020-10-22

引言

在當前這個雲端計算蓬勃發展的時代，對於儲存系統的思考熱度也在逐漸升高。在眾多的工具和儲存系統中，如何進行選擇，就變成了一個非常困惑人的問題。本篇將介紹常見的儲存系統，希望可以解答大家在這方面的困惑。本手冊將深度比較Ceph ，GlusterFS，MooseFS ， HDFS 和 DRBD。

Ceph

Ceph是一個強大的儲存系統，它在同一個系統中同時提供了物件，塊（通過RBD）和檔案儲存。無論您是希望在虛擬機器中使用塊裝置，還是將非結構化資料儲存在物件儲存中，Ceph都可以在一個平臺上提供所有功能，並且還能獲得出色的靈活性。Ceph中的所有內容都以物件的形式儲存，不管原始的資料型別是什麼，RADOS（reliable autonomic distributed object store）

都會把它們當做物件來進行儲存。

RADOS層確保資料始終保持一致狀態並且可靠。Ceph會通過資料複製，故障檢測和恢復，以及跨群集節點進行資料遷移和重新平衡來實現資料一致性。

Ceph提供了一個符合POSIX的網路檔案系統（CephFS），旨在實現高效能，大資料儲存以及與傳統應用程式的最大相容。Ceph可以通過各種程式語言或者radosgw（RGW）實現無縫的訪問物件儲存，（RGW）這是一種REST介面，它與為S3和Swift編寫的應用程式相容。另一方面，Ceph的RADOS塊裝置（RBD）可以訪問在整個儲存叢集中條帶化和複製的塊裝置映像。

Ceph特性

-獨立、開放和統一的平臺：將塊，物件和檔案儲存組合到一個平臺中，包括最新新增的CephFS。

-相容性：您可以使用Ceph 儲存對外提供最相容Amazon Web Services（AWS）S3的物件儲存。
-精簡配置模式：分配儲存空間時，只是虛擬分配容量，在跟進使用情況佔用實際磁碟空間。這種模式提供了更多的靈活性和磁碟空間利用率。
-副本：在Ceph Storage中，所有儲存的資料都會自動從一個節點複製到多個其他節點。預設任何時間群集中的都有三份資料。
-自我修復：Ceph Monitors會不斷監控你的資料集。一旦出現一個副本丟失，Ceph會自動生成一個新副本，以確保始終有三份副本。
-高可用：在Ceph Storage中，所有儲存的資料會自動從一個節點複製到多個其他的節點。這意味著，任意節點中的資料集被破壞或被意外刪除，在其他節點上都有超過兩個以上副本可用，保證您的資料具有很高的可用性。

-Ceph很強大：您的叢集可以用於任何場景。無論您希望儲存非結構化資料或為資料提供塊儲存或提供檔案系統，或者希望您的應用程式直接通過librados使用您的儲存，而這些都已經整合在一個Ceph平臺上了。
-可伸縮性：Ceph Works 可以在叢集中隨時增加，從而滿足將來的規模需求。

Ceph最適合用於塊儲存，大資料或直接與librados通訊的任何其他應用程式。這一切都會順利執行的非常好。

* 更多Ceph的資訊可以參見[Ceph文件]（http://docs.ceph.com/）

MooseFS

MooseFS是波蘭公司Gemius SA公司在12年前推出的，是大資料儲存行業中的突破性概念。它使您可以使用負擔得起的商用硬體將資料儲存和資料處理結合在一個單元中。

MooseFS特性

-冗餘：所有系統元件都是冗餘的，如果發生故障，會觸發自動故障轉移機制，這些對使用者是透明的。
-節點上的計算：通過利用空閒的CPU和記憶體資源，支援在資料節點上排程計算，可以降低系統的總體擁有成本。
-原子快照：在任何特定時間點配置檔案系統都是瞬間完成且不間斷。此特性非常適合用於線上備份的解決方案。
-分層儲存：將不同類別的資料分配給各種型別的儲存介質，以降低總儲存成本。可以將熱資料儲存在快速的SSD磁碟上，而將不經常使用的資料轉移到更便宜，更慢的機械硬碟驅動器上。
-本地客戶端：通過專門為Linux，FreeBSD和MacOS系統設計的專用客戶端（安裝）元件來提高效能。
-全域性回收站：一個虛擬的全域性空間，用於記錄刪除物件的，和每個檔案和目錄的配置。藉助這個有利的特性，可以輕鬆恢復意外刪除的資料。
-配額限制：系統管理員可以靈活地設定限制，以限制每個目錄的資料儲存容量。
-滾動升級：能夠一次執行一個節點的升級，硬體替換和新增，而不會中斷服務。此功能使您可以在不停機的情況下保持硬體平臺的最新狀態。
-快速磁碟恢復：萬一硬碟或硬體出現故障，系統會立即啟動從冗餘副本到系統內其他可用儲存資源的並行資料複製。此過程比傳統的磁碟重建方法快得多。
-並行性：在執行的並行執行緒中執行所有“I”/“O”操作，以提供高效能的讀或寫操作。
-管理介面：提供豐富的管理工具，例如基於命令列和基於Web的介面。

*有關MooseFS的更多資訊，請參見https://moosefs.com/

GlusterFS

Gluster是一個免費的開源可擴充套件網路檔案系統。使用通用的現成硬體，您可以為媒體流，資料分析以及其他資料和頻寬密集型任務建立大型的分散式儲存解決方案。基於GlusterFS的橫向擴充套件儲存系統適用於非結構化資料，例如文件，影象，音訊和視訊檔案以及日誌檔案。通常，分散式檔案系統依賴於元資料伺服器，但是Gluster不再使用元資料伺服器。元資料伺服器是單點故障，並且可能是擴充套件的瓶頸。相反，Gluster使用雜湊機制來查詢資料。

Gluster特性

-可擴充套件性：可擴充套件的儲存系統，可提供彈性和配額。

-快照：卷和檔案級快照都支援，使用者可以直接發起快照請求，這意味著使用者不必費心管理員即可建立快照。
-歸檔：只讀卷和一次寫入多次讀（WORM）卷都支援歸檔。
-為了獲得更好的效能，Gluster會對readdir（）的資料，元資料和目錄條目進行快取。
-整合：Gluster與oVirt虛擬化管理器以及用於伺服器的Nagios監控器可以整合在一起。
-大資料：對於那些希望使用Gluster檔案系統中的資料進行資料分析的人，提供了Hadoop分散式檔案系統（HDFS）支援。
-libgfapi：應用程式可以繞過其他訪問方式，直接使用libgfapi與Gluster對話。這對於上下文切換或核心空間複製敏感的工作負載很有用。

*有關Gluster的其他詳細資訊，請參見[Gluster Docs]（https://docs.gluster.org/）

HDFS

Hadoop分散式檔案系統（HDFS）是一個分散式檔案系統，它允許快速同時儲存和檢索多個檔案。它可以方便地在商業硬體上執行，並提供處理非結構化資料的功能。它應用程式提供資料的高吞吐量訪問，並且適用於具有大資料集的應用程式。HDFS與Hadoop YARN，Hadoop MapReduce和Hadoop Common一起是Hadoop的主要組成部分。它是Hadoop框架的基本元件之一。

HDFS特性

-資料複製：HDFS被設計用於在大型群集中的計算機之間可靠地儲存非常大的檔案。它將每個檔案分塊進行儲存；除了這個檔案最後一個塊以外的所有塊都具有相同的大小。這些塊將通過複製的方式進行容錯。
-檔案命名：HDFS支援傳統的分層方式組織檔案。使用者或應用程式可以建立目錄並將檔案儲存在這些目錄中。檔案系統名稱空間的層次結構與大多數其他現有檔案系統相似。可以建立和刪除檔案，將檔案從一個目錄移動到另一個目錄或重新命名檔案。HDFS尚未實現使用者配額。HDFS不支援硬連結或軟連結。
-健壯：HDFS的主要目標是即使在出現故障的情況下也能可靠地儲存資料。三種常見的故障型別是NameNode故障，DataNode故障和網路分割槽。
-適用性：應用程式訪問HDFS支援多種不同的方式。HDFS本身就為應用程式提供了Java API，同時也提供此Java API的C語言包裝器。另外，HTTP瀏覽器也可用於瀏覽HDFS例項的檔案。通過WebDAV協議公開HDFS的工作正在進行中。
-可擴充套件性：HDFS被設計用於在大型群集中的計算機之間可靠地儲存非常大的檔案。可以根據當時的需求增加或減少群集。
-高可用性：HDFS被設計用於在大型叢集中的機器之間可靠地儲存非常大的檔案。它將每個檔案儲存為一系列塊；檔案中除最後一塊以外的所有塊都具有相同的大小。複製檔案的塊是為了容錯，因此在發生任何故障的情況下資料的可用性很高。

*有關HDFS的更多資訊請參見https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

DRDB

DRBD是一個分散式冗餘儲存系統，由核心驅動程式，多個使用者空間管理應用程式和一些Shell指令碼實現。分散式複製塊裝置（一個邏輯卷中的邏輯塊裝置）在多個主機之間映象塊裝置，以實現高可用叢集。基於DRBD的群集通常用於為檔案伺服器，關係資料庫（例如MySQL）和許多其他工作負載提供同步複製和高可用性。DRBD實質上可以作為共享磁碟檔案系統，額外的邏輯塊裝置（例如LVM），常規檔案系統或需要直接訪問塊裝置的任何應用程式的基礎。

DRDB特性

- DRDB具有共享祕密身份驗證功能。
- DRBD與LVM（Logical Volume Manager）相容。
-支援與heartbeat/pacemaker 整合。
-支援讀取請求的負載平衡。
-支援出現故障時自動檢測最新資料。

- Delta重新同步。
-支援線上調整DRBD配置，而不會丟失資料。
-支援自動頻寬管理。
-支援自定義的調整引數。
-支援相互線上資料驗證。
-高可用性：塊裝置在多個主機之間映象塊裝置，以實現高度可用的群集。
-支援與Xen等虛擬化解決方案整合，並且可以在Linux LVM 之上和之下使用。

* 有關DRBD更多的資訊請參見https://docs.linbit.com/

結論：通過對上面這些儲存系統的功能和特性的介紹，使我們對其有了初步的認識。有關它們的更多詳細資訊，請參見上文引用的各個網頁。非常感謝您的閱讀，希望能對您有所幫助。

宣告：本文譯自https://computingforgeeks.com/ceph-vs-glusterfs-vs-moosefs-vs-hdfs-vs-drbd/，版權歸原作者所有

瞭解新鈦雲服

當IPFS遇見雲服務|新鈦雲服與冰河分散式實驗室達成戰略協議

新鈦雲服正式獲批工信部ISP/IDC(含網際網路資源協作)牌照

深耕專業，矗立鰲頭，新鈦雲服獲千萬Pre-A輪融資

新鈦雲服，打造最專業的CloudMSP+，做企業業務和雲之間的橋樑

新鈦雲服一週年，完成兩輪融資，服務五十多家客戶

上海某倉儲物流電子商務公司混合雲解決方案