1. 程式人生 > >當下流行的分散式檔案系統大閱兵

當下流行的分散式檔案系統大閱兵

  本文對目前數種分散式檔案系統進行簡單的介紹。當前比較流行的分散式檔案系統包括:Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。

  lustre是一個大規模的、安全可靠的,具備高可用性的叢集檔案系統,它是由SUN公司開發和維護。該專案主要的目的就是開發下一代的叢集檔案系統,可以支援超過10000個節點,數以PB的數量儲存系統。

  lustre是開放原始碼的叢集檔案系統,採取GPL許可協議,目前在叢集計算機裡,計算機與磁碟間資料交換的提升無法跟上微處理器和記憶體增長的速度,從而也拖累了應用程式的效能,一種新興的叢集檔案系統軟體提高了I/O速度,可能降低企業購買儲存裝置的成本並改變企業購買儲存的方式,叢集檔案系統已經在大學、實驗室和超級計算機研究中心裡使用,而且即將進入通用商業計算市場。新的叢集檔案系統採用了開源的lustre技術,由美國能源部(Department Of Energy)開發,惠普公司(HP)提供商業支援。它顯著提高了輸入輸出(I/O)速度,目前已經在高校、國家實驗室和超級計算研究中心產生了一定影響,未來幾年中,它很有可能進入普通的商業計算機領域。

  執行在linux下,開發語言c/c++

  Hadoop(hadoop.apache.com)

  hadoop並不僅僅是一個用於儲存的分散式檔案系統,而是設計用來在由通用計算裝置組成的大型叢集上執行分散式應用的框架。

  如下圖是hadoop的體系結構:

  授權協議apache,開發語言java,資源耗費有點大。

  MogileFs(www.danga.com)

  Mogile Fs是一個開源的分散式檔案系統,主要特徵包括

  1、應用層的元件

  2、無單點故障

  3、自動檔案複製

  4、具有比RAID更好的可靠性

  5、無需RAID nigukefs支援 ,執行在linux下。

  FreeNAS是網路附加儲存(NAS)服務專用作業系統(FreeBSD的簡化版 )。基於m0n0wall防火牆,該系統通過提供磁碟管理及RAID軟體,可讓使用者home將PC轉換為NAS伺服器,支援FTP/NFS/RSYNC/CIFS/AFP/UNISON/SSH sourceforge.net/pro協議,旨在讓人們重新使用舊硬體.