1. 程式人生 > >存儲是怎樣煉成的?

存儲是怎樣煉成的?

osd 服務器 就是 linu 物理 數據量 數據信息 文件 架構

什麽FAT,NTFS,NFS,DAS,SAN,NAS,OSD這些名詞我一個都不認識。

不知道各位大佬對上面的名詞了解多少,通過上面的一些名詞其實可以大致的看到存儲是怎樣一步步發展的。其中FAT,NTFS和NFS都是支持特定存儲協議的存儲系統,DAS,SAN,NAS,OSD是一種存儲模型。稍微科普一下:

FAT,NTFS大家肯定比較熟悉,這個就是單機文件系統,類似的還有EXT4等等。windows系統就是NTFS,Linux是EXT4居多。

NFS(Network File System)即網絡文件系統,它允許網絡中的計算機之間通過TCP/IP網絡共享資源。使計算機可以像操作單機文件系統一樣操作網絡中的資源。

DAS(Direct-Attached Storage)直連式存儲,是一種常用的存儲模型。比如我們常用的移動硬盤,U盤就是直連式存儲。它有非常大的弊端,不易擴容,性能低,不可靠等。

SAN(Storage Area Network)存儲區域網絡,它其實是建立專用於存儲的區域網絡,以達到存儲和主機的物理分離。主要面向企業級存儲,從理論上講其易擴容可以支撐海量的數據存儲,但是需要建立專用的光纖網絡,成本較高。

NAS(Network Attached Storage)網絡附加存儲,可以簡單理解為便捷的局域網存儲裝置,在linux系統中可以通過NFS協議掛載NAS存儲。NAS相對於SAN擁有自己的操作系統,可以與各個系統更好的兼容,且更加靈活。

OSD(Object-based Storage Device)對象存儲,對象存儲是一種新的網絡存儲架構,它兼具SAN高速直接訪問磁盤和NAS分布式共享的特點,將數據存儲和元數據信息分離,可以更加靈活的管理數據的存儲。

技術分享圖片

了解了上面那麽多的名詞,我們對於存儲的發展大概有了一個認識了。其實存儲的發展大概可以分為4個階段,分別是單機文件系統,網絡文件系統,集群文件系統和分布式文件系統。

單機文件系統

以FAT,NTFS為代表,DAS其實也可以算作單機文件系統,他們共同的特點就是文件存儲在單臺服務器上,依靠操作系統的文件系統來實現文件的存儲和管理。隨著數據量的增大以及對與數據安全性的需求越來越高,它們的缺點也日益顯露。

  1. 可擴展性:容量小,無法存儲大量數據,而且不能進行擴展。
  2. 性能:隨著文件數量的增多,讀寫性能會下降
  3. 可靠性:沒有備份機制,一旦硬件出了故障會造成數據的丟失。

網絡文件系統

以NAS為代表,應用實現比如我們常用的網盤。它依托於網絡提供了一定的便捷性,而且支持容量擴展,解決了單機文件系統容量小的問題。但是對於性能和可靠性的問題並沒解決。

集群文件系統

以SAN為代表,實現比如RedHat的GFS(非Google的GFS),它是通過多個節點構成一個集群,各個節點的數據是相同的,對其中一個節點的數據進行修改時,其會以廣播的形式通知其他各個節點。通過這一特性解決了單機文件系統存在的各項缺點。支持多個節點的擴展,多臺節點共同提供服務提高性能,多個節點都進行數據保存保障數據的可靠性。但是其同樣擁有很多缺點,集群的節點不能太多,對某一數據進行修改需要修改整個集群等等

分布式文件系統

以HDFS,CEPH和OSD為代表,實現了支持大規模節點的集群,並且提高了存儲性能和數據的可靠性。我們用過HDFS或者CEPH的都清楚,他們依托於廉價的存儲設備,可以隨時增刪節點對整個集群進行動態的擴容,高度可擴展。可以有效的避免單點故障,具有很高的容錯性,可以提高穩定可靠的服務。整個分布式系統具有較高的吞吐量,可以滿足大數據時代對於數據的存儲。

前面的文章初識大數據中我們提到了HDFS和CEPH,兩者都是當前使用較廣泛的分布式存儲服務,支持萬級集群規模,應用感知進行負載均衡優化性能和效率。HDFS作為Hadoop的一大核心為分布式計算提供了有力的支持,但是由於其設計對於小文件的支持並不好。CEPH實現了統一存儲,同時支持文件,塊和對象存儲。兩者都支持數據的歸檔壓縮提高存儲空間利用率,並以糾刪碼技術為主,復制副本技術為輔提高數據的可靠性。

是時候發明一個新名詞了~~~

歡迎關註我:叁金大數據(不穩定持續更新~~~)
技術分享圖片

存儲是怎樣煉成的?