fastdfs和其他檔案系統區別
阿新 • • 發佈:2019-01-22
=======================
Hadoop 實現了一個分散式檔案系統,主要用於大資料計算儲存,簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文字搜尋庫。它起源於Apache Nutch,後者是一個開源的網路搜尋引擎,本身也是Luene專案的一部分。Aapche Hadoop架構是MapReduce演算法的一種開源應用,是Google開創其帝國的重要基石。
======================= 是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分散式檔案系統。Ceph能夠在維護 POSIX 相容性的同時加入了複製和容錯功能。 Sage weil並使用Ceph完成了他的論文。說 ceph 效能最高,C++編寫的程式碼,支援Fuse,並且沒有單點故障依賴,
於是下載安裝, 由於 ceph 使用 btrfs 檔案系統, 而btrfs 檔案系統需要 Linux 2.6.34 以上的核心才支援。
GridFS檔案系統 =======================
MongoDB是一種知名的NoSql資料庫,GridFS是MongoDB的一個內建功能,它提供一組檔案操作的API以利用MongoDB儲存檔案,GridFS的基本原理是將檔案儲存在兩個Collection中,一個儲存檔案索引,一個儲存檔案內容,檔案內容按一定大小分成若干塊,每一塊存在一個Document中,這種方法不僅提供了檔案儲存,還提供了對檔案相關的一些附加屬性(比如MD5值,檔名等等)的儲存。檔案在GridFS中會按4MB為單位進行分塊儲存。
MogileFS =======================
由memcahed的開發公司danga一款perl開發的產品,目前國內使用mogielFS的有圖片託管網站yupoo等。 MogileFS是一套高效的檔案自動備份元件,由Six Apart開發,廣泛應用在包括LiveJournal等web2.0站點上。 MogileFS由3個部分組成: 第1個部分是server端,包括mogilefsd和mogstored兩個程式。前者即是 mogilefsd的tracker,它將一些全域性資訊儲存在資料庫裡,例如站點domain,class,host等。後者即是儲存節點(store node),它其實是個HTTP Daemon,預設偵聽在7500埠,接受客戶端的檔案備份請求。在安裝完後,要執行mogadm工具將所有的store node註冊到mogilefsd的資料庫裡,mogilefsd會對這些節點進行管理和監控。 第2個部分是utils(工具集),主要是MogileFS的一些管理工具,例如mogadm等。 第3個部分是客戶端API,目前只有Perl API(MogileFS.pm)、PHP,用這個模組可以編寫客戶端程式,實現檔案的備份管理功能。
TFS ------------------------------------- TFS(Taobao !FileSystem)是一個高可擴充套件、高可用、高效能、面向網際網路服務的分散式檔案系統,主要針對海量的非結構化資料,它構築在普通的Linux機器 叢集上,可為外部提供高可靠和高併發的儲存訪問。TFS為淘寶提供海量小檔案儲存,通常檔案大小不超過1M,滿足了淘寶對小檔案儲存的需求,被廣泛地應用 在淘寶各項應用中。它採用了HA架構和平滑擴容,保證了整個檔案系統的可用性和擴充套件性。同時扁平化的資料組織結構,可將檔名對映到檔案的實體地址,簡化 了檔案的訪問流程,一定程度上為TFS提供了良好的讀寫效能。 轉自:http://blog.csdn.net/WK313753744/article/details/49943835
Hadoop 實現了一個分散式檔案系統,主要用於大資料計算儲存,簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文字搜尋庫。它起源於Apache Nutch,後者是一個開源的網路搜尋引擎,本身也是Luene專案的一部分。Aapche Hadoop架構是MapReduce演算法的一種開源應用,是Google開創其帝國的重要基石。
======================= 是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分散式檔案系統。Ceph能夠在維護 POSIX 相容性的同時加入了複製和容錯功能。
GridFS檔案系統 =======================
MongoDB是一種知名的NoSql資料庫,GridFS是MongoDB的一個內建功能,它提供一組檔案操作的API以利用MongoDB儲存檔案,GridFS的基本原理是將檔案儲存在兩個Collection中,一個儲存檔案索引,一個儲存檔案內容,檔案內容按一定大小分成若干塊,每一塊存在一個Document中,這種方法不僅提供了檔案儲存,還提供了對檔案相關的一些附加屬性(比如MD5值,檔名等等)的儲存。檔案在GridFS中會按4MB為單位進行分塊儲存。
MogileFS =======================
由memcahed的開發公司danga一款perl開發的產品,目前國內使用mogielFS的有圖片託管網站yupoo等。 MogileFS是一套高效的檔案自動備份元件,由Six Apart開發,廣泛應用在包括LiveJournal等web2.0站點上。 MogileFS由3個部分組成: 第1個部分是server端,包括mogilefsd和mogstored兩個程式。前者即是 mogilefsd的tracker,它將一些全域性資訊儲存在資料庫裡,例如站點domain,class,host等。後者即是儲存節點(store node),它其實是個HTTP Daemon,預設偵聽在7500埠,接受客戶端的檔案備份請求。在安裝完後,要執行mogadm工具將所有的store node註冊到mogilefsd的資料庫裡,mogilefsd會對這些節點進行管理和監控。 第2個部分是utils(工具集),主要是MogileFS的一些管理工具,例如mogadm等。 第3個部分是客戶端API,目前只有Perl API(MogileFS.pm)、PHP,用這個模組可以編寫客戶端程式,實現檔案的備份管理功能。
TFS ------------------------------------- TFS(Taobao !FileSystem)是一個高可擴充套件、高可用、高效能、面向網際網路服務的分散式檔案系統,主要針對海量的非結構化資料,它構築在普通的Linux機器 叢集上,可為外部提供高可靠和高併發的儲存訪問。TFS為淘寶提供海量小檔案儲存,通常檔案大小不超過1M,滿足了淘寶對小檔案儲存的需求,被廣泛地應用 在淘寶各項應用中。它採用了HA架構和平滑擴容,保證了整個檔案系統的可用性和擴充套件性。同時扁平化的資料組織結構,可將檔名對映到檔案的實體地址,簡化 了檔案的訪問流程,一定程度上為TFS提供了良好的讀寫效能。 轉自:http://blog.csdn.net/WK313753744/article/details/49943835