1. 程式人生 > >非結構化數據存儲方案

非結構化數據存儲方案

規模 分布式系統 tac 項目 ddc amp 能力 aid ado

ceph

官方網站:http://docs.ceph.org.cn/

簡單介紹:

Ceph是一個開源的分布存儲系統,同時提供對象存儲、塊存儲和文件存儲。linux內核2.6.34將ceph加入到內核中,紅帽基於ceph出了redhat ceph storage.

支持TB級存儲

支持高可用、容災備份(當然了,這是存儲的常見功能)

支持上百節點的負載均衡

系統架構:

技術分享圖片

OpenStack Swift

官方網站:https://docs.openstack.org/swift/latest/

簡單介紹:

OpenStack的存儲項目,提供了彈性可伸縮、高可用的分布式對象存儲服務,適合存儲大規模非結構化數據。作為一個開源的雲平臺,本身的存儲系統制約著平臺的發展,所以swift在可靠性、性能上更加優秀。

系統架構:

Swift 采用完全對稱、面向資源的分布式系統架構設計,所有組件都可擴展,避免因單點失效而擴散並影響整個系統運轉;通信方式采用非阻塞式 I/O 模式,提高了系統吞吐和響應能力。

技術分享圖片

HDFS

官方網站:https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

簡單介紹:

HDFS全稱是Hadoop distributed file system,是一個用java語言開發的分布式文件系統,有很好的伸縮性,支持10億+的文件,上百PB數據,上千節點的集群。HDFS設計目標是==支持海量數據的批量計算==,而不是直接與用戶做交互式操作。

HDFS有很多特點:

保存多個副本,且提供容錯機制,副本丟失或宕機自動恢復。默認存3份。

運行在廉價的機器上。

適合大數據的處理。多大?多小?HDFS默認會將文件分割成block,64M為1個block。然後將block按鍵值對存儲在HDFS上,並將鍵值對的映射存到內存中。如果小文件太多,那內存的負擔會很重。

技術分享圖片

GlusterFS

官方網站:https://www.gluster.org/

技術分享圖片

簡單介紹:

GlusterFS是一個開源的分布式文件系統,可支持PB級數據量和幾千個客戶端,沒有元數據服務器。紅帽2011年花1.36億$購買了GlusterFS,基於GlusterFS發布了一個商業存儲系統。

外部架構:

技術分享圖片

內部架構:

技術分享圖片 參考:https://baijiahao.baidu.com/s?id=1588136621698926024&wfr=spider&for=pc

非結構化數據存儲方案