塊儲存、檔案儲存、物件儲存這三者的本質差別
[塊儲存】
典型裝置:磁碟陣列,硬碟
塊儲存主要是將裸磁碟空間整個對映給主機使用的,就是說例如磁碟陣列裡面有5塊硬碟(為方便說明,假設每個硬碟1G),然後可以通過劃邏輯盤、做Raid、或者LVM(邏輯卷)等種種方式邏輯劃分出N個邏輯的硬碟。(假設劃分完的邏輯盤也是5個,每個也是1G,但是這5個1G的邏輯盤已經於原來的5個物理硬碟意義完全不同了。例如第一個邏輯硬碟A裡面,可能第一個200M是來自物理硬碟1,第二個200M是來自物理硬碟2,所以邏輯硬碟A是由多個物理硬碟邏輯虛構出來的硬碟。)
接著塊儲存會採用對映的方式將這幾個邏輯盤對映給主機,主機上面的作業系統會識別到有5塊硬碟,但是作業系統是區分不出到底是邏輯還是物理的,它一概就認為只是5塊裸的物理硬碟而已,跟直接拿一塊物理硬碟掛載到作業系統沒有區別的,至少作業系統感知上沒有區別。
此種方式下,作業系統還需要對掛載的裸硬碟進行分割槽、格式化後,才能使用,與平常主機內建硬碟的方式完全無異。
優點:
1、 這種方式的好處當然是因為通過了Raid與LVM等手段,對資料提供了保護。
2、 另外也可以將多塊廉價的硬碟組合起來,成為一個大容量的邏輯盤對外提供服務,提高了容量。
3、 寫入資料的時候,由於是多塊磁碟組合出來的邏輯盤,所以幾塊磁碟可以並行寫入的,提升了讀寫效率。
4、 很多時候塊儲存採用SAN架構組網,傳輸速率以及封裝協議的原因,使得傳輸速度與讀寫速率得到提升。
缺點:
1、採用SAN架構組網時,需要額外為主機購買光纖通道卡,還要買光纖交換機,造價成本高。
2、主機之間的資料無法共享,在伺服器不做叢集的情況下,塊儲存裸盤對映給主機,再格式化使用後,對於主機來說相當於本地盤,那麼主機A的本地盤根本不能給主機B去使用,無法共享資料。
3、不利於不同作業系統主機間的資料共享:另外一個原因是因為作業系統使用不同的檔案系統,格式化完之後,不同檔案系統間的資料是共享不了的。例如一臺裝了WIN7/XP,檔案系統是FAT32/NTFS,而Linux是EXT4,EXT4是無法識別NTFS的檔案系統的。就像一隻NTFS格式的U盤,插進Linux的筆記本,根本無法識別出來。所以不利於檔案共享。
【檔案儲存】
典型裝置:FTP、NFS伺服器
為了克服上述檔案無法共享的問題,所以有了檔案儲存。
檔案儲存也有軟硬一體化的裝置,但是其實普通拿一臺伺服器/筆記本,只要裝上合適的作業系統與軟體,就可以架設FTP與NFS服務了,架上該類服務之後的伺服器,就是檔案儲存的一種了。
主機A可以直接對檔案儲存進行檔案的上傳下載,與塊儲存不同,主機A是不需要再對檔案儲存進行格式化的,因為檔案管理功能已經由檔案儲存自己搞定了。
優點:
1、造價交低:隨便一臺機器就可以了,另外普通乙太網就可以,根本不需要專用的SAN網路,所以造價低。
2、方便檔案共享:例如主機A(WIN7,NTFS檔案系統),主機B(Linux,EXT4檔案系統),想互拷一部電影,本來不行。加了個主機C(NFS伺服器),然後可以先A拷到C,再C拷到B就OK了。(例子比較膚淺,請見諒……)
缺點:
讀寫速率低,傳輸速率慢:乙太網,上傳下載速度較慢,另外所有讀寫都要1臺伺服器裡面的硬碟來承擔,相比起磁碟陣列動不動就幾十上百塊硬碟同時讀寫,速率慢了許多。
【物件儲存】
典型裝置:內建大容量硬碟的分散式伺服器
物件儲存最常用的方案,就是多臺伺服器內建大容量硬碟,再裝上物件儲存軟體,然後再額外搞幾臺服務作為管理節點,安裝上物件儲存管理軟體。管理節點可以管理其他伺服器對外提供讀寫訪問功能。
之所以出現了物件儲存這種東西,是為了克服塊儲存與檔案儲存各自的缺點,發揚它倆各自的優點。簡單來說塊儲存讀寫快,不利於共享,檔案儲存讀寫慢,利於共享。能否弄一個讀寫快,利 於共享的出來呢。於是就有了物件儲存。
首先,一個檔案包含了了屬性(術語叫metadata,元資料,例如該檔案的大小、修改時間、儲存路徑等)以及內容(以下簡稱資料)。
以往像FAT32這種檔案系統,是直接將一份檔案的資料與metadata一起儲存的,儲存過程先將檔案按照檔案系統的最小塊大小來打散(如4M的檔案,假設檔案系統要求一個塊4K,那麼就將檔案打散成為1000個小塊),再寫進硬盤裡面,過程中沒有區分資料/metadata的。而每個塊最後會告知你下一個要讀取的塊的地址,然後一直這樣順序地按圖索驥,最後完成整份檔案的所有塊的讀取。
這種情況下讀寫速率很慢,因為就算你有100個機械手臂在讀寫,但是由於你只有讀取到第一個塊,才能知道下一個塊在哪裡,其實相當於只能有1個機械手臂在實際工作。
而物件儲存則將元資料獨立了出來,控制節點叫元資料伺服器(伺服器+物件儲存管理軟體),裡面主要負責儲存物件的屬性(主要是物件的資料被打散存放到了那幾臺分散式伺服器中的資訊),而其他負責儲存資料的分散式伺服器叫做OSD,主要負責儲存檔案的資料部分。當用戶訪問物件,會先訪問元資料伺服器,元資料伺服器只負責反饋物件儲存在哪些OSD,假設反饋檔案A儲存在B、C、D三臺OSD,那麼使用者就會再次直接訪問3臺OSD伺服器去讀取資料。
這時候由於是3臺OSD同時對外傳輸資料,所以傳輸的速度就加快了。當OSD伺服器數量越多,這種讀寫速度的提升就越大,通過此種方式,實現了讀寫快的目的。
另一方面,物件儲存軟體是有專門的檔案系統的,所以OSD對外又相當於檔案伺服器,那麼就不存在檔案共享方面的困難了,也解決了檔案共享方面的問題。
所以物件儲存的出現,很好地結合了塊儲存與檔案儲存的優點。
最後為什麼物件儲存兼具塊儲存與檔案儲存的好處,還要使用塊儲存或檔案儲存呢?
1、有一類應用是需要儲存直接裸盤對映的,例如資料庫。因為資料庫需要儲存裸盤對映給自己後,再根據自己的資料庫檔案系統來對裸盤進行格式化的,所以是不能夠採用其他已經被格式化為某種檔案系統的儲存的。此類應用更適合使用塊儲存。
2、物件儲存的成本比起普通的檔案儲存還是較高,需要購買專門的物件儲存軟體以及大容量硬碟。如果對資料量要求不是海量,只是為了做檔案共享的時候,直接用檔案儲存的形式好了,價效比高。
==========================================================
這三種儲存,分別對應了不同的訪問協議,這也就決定了他們的本質差別。
先說一下檔案儲存,主要操作物件是檔案和資料夾。以 NFS 為例,檔案相關的介面包括:LOOKUP/ACCESS/READ/WRITE/CREATE/REMOVE/RENAME 等等,資料夾相關的介面包括:MKDIR/RMDIR/READDIR 等等。同時也會有 FSSTAT/FSINFO 等介面用於提供檔案系統級別的資訊。POSIX,SAMBA 等也是檔案儲存協議。協議更注重介面的靈活,以及訪問許可權控制。
塊儲存,主要操作物件是磁碟。以 SCSI 為例,主要介面有 Read/Write/Read Capacity/Inquiry 等等。FC,iSCSI,也是塊儲存協議。和檔案儲存相比,沒有檔案和目錄樹的概念,一般協議也不會定義磁碟的建立和刪除操作。協議更注重傳輸控制。
物件儲存,主要操作物件是物件(Object)。以 S3 為例,主要介面有 PUT/GET/DELETE 等。和檔案和物件儲存相比,沒有隨機讀寫的介面。和檔案儲存相比,沒有目錄樹的概念。協議更注重簡潔。
作者:smartx
連結:https://www.zhihu.com/question/21536660/answer/225915740
來源:知乎
著作權歸作者所有。商業轉載請聯絡作者獲得授權,非商業轉載請註明出處。