1. 程式人生 > 其它 >系統架構設計師-分散式儲存系統架構設計

系統架構設計師-分散式儲存系統架構設計

  分散式儲存系統(Distributed Storage System)通常將資料分散儲存在多臺獨立的裝置中,傳統的網路儲存系統採用集中的儲存伺服器存放所有資料,儲存伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規模儲存應用的需要;分散式儲存系統採用可擴充套件的系統結構,利用多臺儲存器分擔儲存負荷,利用位置伺服器定位儲存資訊。它不但提高了系統的可靠性、可用性和存取效率,還易於擴充套件。

  筆者參與分析和開發的分散式儲存系統專案,以及筆者所承擔的主要工作。分散式儲存系統架構設計中所使用的分散式儲存技術以及其實現機制,筆者在具體專案中選用了何種分散式儲存技術,冗餘是提高分散式儲存系統可靠性的主要方法,通常在分散式儲存系統設計中可採用哪些冗餘技術來提升系統的可靠性,具體專案中選用了哪種冗餘技術。

  在分散式儲存系統架構設計中鎖使用的分散式儲存技術主要包括如下4類

1,叢集儲存技術:叢集儲存系統是指架構在一個可擴充伺服器叢集中的檔案系統,使用者不需要要考慮檔案儲存在叢集中的什麼位置,僅僅需要使用統一的介面就可以訪問檔案資源。當負載增加時,只需要在伺服器叢集中增加新的伺服器就可以提高檔案系統的效能。叢集儲存系統能夠保留傳統檔案儲存系統的語義,可以向用戶提高可靠性、高效能、可擴充的檔案儲存服務。

2,分散式檔案系統:分散式檔案系統是指檔案系統管理的物理儲存資源不一定直接連線在本地節點上,而是通過計算機網路與節點連線。分散式檔案系統的設計基於客戶機/伺服器模式,一個典型的網路可能包括多臺供多使用者訪問的伺服器,另外,對等特性允許一些系統扮演客戶機和伺服器的雙重角色。分散式檔案系統以透明方式連線檔案伺服器和共享資料夾,然後將其對映到單個層次結構,以便可以從一個位置以查詢所需的資訊。

3,網路儲存系統:網路儲存系統是將儲存和網路結合起來,通過網路連線各種儲存裝置,實現儲存裝置之間、儲存裝置和伺服器之間的資料在網路上的高效能傳輸。為了充分利用資源,減少投資,儲存作為構成計算機系統的主要架構之一不再僅僅擔負附加裝置的角色,逐步成為獨立的系統。利用網路將此獨立的系統和傳統的使用者裝置連線,使其以高速、穩定的資料儲存單元存在,使用者可以方便的使用瀏覽器等客戶端進行訪問和管理。

4,P2P網路儲存技術:P2P網路儲存技術的應用使得內容不是存在幾臺主要的伺服器中,而是存在所有使用者的個人電腦中。這就為網路儲存提供了可能性,可以將網路中的剩餘儲存空間利用起來,實現網路儲存。人們對儲存容量的需求是無止境的,提高儲存能力的方法有更換能力更強的儲存器。另外就是把多個儲存器用某種方式連線在一起,實現網路並行儲存。相對於現有的網路儲存系統而言,應用P2P技術將會有更大的優勢。P2P技術的主體就是網路中Peer,也就是各臺客戶機,數量很大的。這些客戶機的空閒儲存空間很多,把這些空間利用起來實現網路儲存。

  冗餘是提供分散式儲存系統可靠性的主要方法,冗餘的儲存結構可以保證部分伺服器失效時,資料服務仍可正常訪問。常用的冗餘技術包括資料備份、資料分割、門限方案、糾錯編碼和糾刪編碼等。