開源分散式檔案系統

阿新 • • 發佈：2020-10-22

2019獨角獸企業重金招聘Python工程師標準>>>

比較維度	Glusterfs	Moosefs	Lustre	Ceph
成熟度	2005年釋出第一個GA版1.2.3，2013年GA版3.3.2，具有成熟的系統架構和完整的工程程式碼	2008年釋出第一個開源版本v1.5，13年釋出GA版v1.6.27，穩定，比較成熟的開源DFS	2003釋出第一個版本lustre1.0，2013年釋出v2.4.0，相當成熟，在HPC領域佔有絕大比例	2013年釋出v0.71，並已新增到linux kernel中作實驗核心，目前不成熟有較多bug，更新穩定都是實驗版
穩定性	較穩定，無重大bug，已有較多組織或機構應用於生產環境	較穩定，無重大bug	很穩定，在HPC領域應用很多	核心元件RADOS較穩定，每3個月更新一次穩定版，有部分企業用於生產環境
複雜度	簡單，無元資料服務，使用者空間實現，架構清晰，xlator樹形結構	簡單，使用者空間實現，程式碼規模較小，高度模組化	複雜度較高，依賴核心實現	較複雜，c++實現，功能較多
高效能	解除元資料瓶頸，並行化資料訪問	元資料單點瓶頸	高效能，HPC領域表現卓越	資料分佈均衡，並行化度高
擴充套件性	彈性hash代替元資料服務，線性擴充套件，可輕鬆擴充套件到數百PB量級，支援動態擴容	可增加儲存server，不能增加MDS	高擴充套件性，容量可達數百PB，可在不打斷任何操作的情況下，通過增加新的OSS來實現動態擴充套件	高擴充套件性，支援10-1000臺server，支援TB到PB的擴充套件，當元件發生變化時（新增或刪除），自動進行資料的重分佈
可用性	多元資料服務設計，資料分佈提供三種方式的分割：AFR、DHT、stripe，支援自動複製和自動修復	元資料+日誌伺服器，保障元資料server，執行時元資料放記憶體，可設定副本	元資料叢集，可部署主備切換工作方式，無副本設計，OSS之間可利用共享儲存實現自動故障恢復	元資料叢集，沒有單點故障，多資料副本，自動管理、自動修復，monitor監控叢集中所有節點狀態，且可有多個monitor保證可靠性
可管理性	部署簡單，易於管理和維護，使用底層FS，ext3/zfs，客戶端負載增加；提供管理工具，如卷的擴容、資料LB、目錄配額及相關監控等	部署簡單，提供web gui監控介面，元資料恢復，檔案恢復，回收站功能，快照	部署複雜，需升級kernel等，提供管理工具，如設定目錄stripe	部署較複雜，提供工具對叢集進行監控管理，包括叢集狀態，各元件狀態等
研發成本	使用者空間實現，模組化堆疊式架構	使用者空間實現，小規模	高，核心空間實現，且程式碼規模大	較高，程式碼規模大，功能多
適用性	適用以檔案為物件的儲存體系，適合大檔案儲存	小規模叢集，元資料瓶頸，記憶體消耗大	大檔案，HPC領域
NAS相容	支援NFS、CIFS、HTTP、FTP、gluster原生協議，與POSIX標準相容	支援CIFS、NFS，支援標準POSIX介面	支援CIFS、NFS，支援標準POSIX介面	支援CIFS、NFS，支援標準POSIX介面
採用指數	☆☆☆☆	☆☆☆	☆☆☆	☆☆

轉載於:https://my.oschina.net/HeAlvin/blog/819575

開源分散式檔案系統

2019獨角獸企業重金招聘Python工程師標準>>> 比較維度 Glusterfs Moosefs Lustre Ceph

常見開源分散式檔案系統架構對比

什麼是檔案系統？檔案系統是計算機中一個非常重要的元件，為儲存裝置提供一致的訪問和管理方式。在不同的作業系統中，檔案系統會有一些差別，但也有一些共性幾十年都沒怎麼變化：

Hadoop 系列（一）—— 分散式檔案系統 HDFS

一、介紹 HDFS （Hadoop Distributed File System）是 Hadoop 下的分散式檔案系統，具有高容錯、高吞吐量等特性，可以部署在低成本的硬體上。

CentOS 7.2搭建FastDFS 分散式檔案系統，實現高可用叢集

title: CentOS 7.2搭建FastDFS 分散式檔案系統，實現高可用叢集分散式叢集搭建結構

Python3與fastdfs分散式檔案系統如何實現互動

一、先配置好自己的分散式檔案系統參考另一篇文章： https://www.jb51.net/article/189283.htm

ceph 分散式檔案系統

Ceph 介紹 Ceph 是一個能提供檔案儲存（cephfs）、塊儲存（rbd）和物件儲存（rgw）的分散式儲存系統，具有高擴充套件性、高效能、高可靠性等優點。Ceph 在儲存的時候充分利用儲存節點的計算能力，在儲存每一個數據時

【FastDFS】FastDFS 分散式檔案系統的安裝與使用，看這一篇就夠了！！

寫在前面有不少小夥伴在實際工作中，對於如何儲存檔案（圖片、視訊、音訊等）沒有一個很好的解決思路。都明白不能將檔案儲存在單臺伺服器的磁碟上，也知道需要將檔案進行副本備份。如果自己手動寫檔案的副本機制，那

【FastDFS】如何打造一款高可用的分散式檔案系統？這次我明白了！！

寫在前面前面我們學習瞭如何基於兩臺伺服器搭建FastDFS環境，而往往在生產環境中，需要FastDFS做到高可用，那如何基於FastDFS打造一款高可用的分散式檔案系統呢？別急，今天，我們就一起來基於FastDFS搭建一套高可用

搭建分散式檔案系統FastDFS叢集

FastDFS是為網際網路應用量身定做的一套分散式檔案儲存系統，非常適合用來儲存使用者圖片、視訊、文件等檔案。對於網際網路應用，和其他分散式檔案系統相比，優勢非常明顯。出於簡潔考慮，FastDFS沒有對檔案做分塊儲

暢購商城(二)：分散式檔案系統FastDFS

好好學習，天天向上本文已收錄至我的Github倉庫DayDayUP：github.com/RobodLee/DayDayUP，歡迎Star，更多文章請前往：目錄導航

開源分散式跟蹤系統Zipkin介紹（如何寫一個跟蹤的程式碼庫）（轉）

本文內容是Instrumenting a library的筆記，一般來說不需要自己寫跟蹤程式碼庫，因為Zipkin已經有許多現有的各個語言的程式碼庫了（Existing instrumentations）閱讀本文只是為了更加深入的瞭解Zipkin的內部設計而已

fastDFS輕量級分散式檔案系統

fastDFS輕量級分散式檔案系統 1.fastDFS介紹： fastDFS 是以C語言開發的一項開源輕量級分散式檔案系統，他對檔案進行管理，主要功能有：檔案儲存，檔案同步，檔案訪問（檔案上傳/下載）,特別適合以檔案為載體的

雲原生資料庫mysql對共享儲存分散式檔案系統的介面需求分析

1. 引言　　雲原生資料庫跟分散式mpp資料庫是有差異的，雖然兩者都是計算與儲存分離，但是在資源的佔用上有所不同。雲原生資料庫是shard everything架構，其依賴的儲存資源、記憶體資源、事務資源在雲中都是共享、彈

Day08_分散式檔案系統FastDFS研究

分散式檔案系統 fastDFS研究教學目標 1）瞭解分散式檔案系統的概念及應用場景

Day08_課程圖片管理與分散式檔案系統

1 FastDFS研究參考連結：https://www.cnblogs.com/artwalker/p/13502534.html 2 上傳圖片開發 1.1.1 需求分析

FastDFS分散式檔案系統環境搭建及安裝過程解析

FastDFS：分散式檔案系統它對檔案進行管理，功能包括：檔案儲存、檔案同步、檔案訪問（檔案上傳、檔案下載）等，解決了大容量儲存和負載均衡的問題。

你想了解的分散式檔案系統HDFS，看這一篇就夠了

1、分散式檔案系統計算機叢集結構分散式檔案系統把檔案分佈儲存到多個節點（計算機）上，成千上萬的計算機節點構成計算機叢集。

分散式檔案系統之FastDFS安裝部署

　　前面我們瞭解了分散式檔案系統mogilefs的框架以及安裝部署和簡單使用，回顧請參考https://www.cnblogs.com/qiuhom-1874/tag/MogileFS/；今天我們來了解下FastDFS叢集的安裝部署；

高效能分散式檔案系統go-fastdfs

go-FastDFS 簡介專案地址：https://github.com/sjqzhang/go-fastdfs 編譯版本下載地址：https://github.com/sjqzhang/go-fastdfs/releases

FastDFS-分散式檔案系統安裝

fastDFS分散式檔案系統安裝參考連結： https://www.cnblogs.com/handsomeye/p/9451568.html https://www.cnblogs.com/mrhelloworld/p/fastdfs.html

開源分散式檔案系統

相關推薦