2. 程式人生 > >分散式檔案系統的對比

分散式檔案系統的對比

阿新 • • 發佈：2018-12-30

本文對常用的分散式檔案系統進行一個簡要的對比，設計的分散式檔案系統有：HSFS,IRODS,Ceph,ClusterFs,Lustre,MooseFS.

架構

Lustre把metadata儲存到單節點sever的硬碟。客戶端的rps(client request per second)受到metadata server的限制。HDFS 和MooseFS也面臨相同的問題，不過他們是把metadata儲存到記憶體。iRODS採用面向中心的架構設計，用資料庫來管理和儲存metadata.這三種面向中心的架構設計，都會受到metadata server的限制，無論是放到硬碟，記憶體還是資料庫，metadata是單機的。GlusterFS把metadata和資料儲存到一起，可以快速增加sever進行水平的擴張，可以接受大量的客戶端請求。Ceph為了處理客戶端大量的請求，需要增加metadata或data sever,這樣系統擴張更加複雜。

表 1：概要對比

HDFS iRODS Ceph GlusterFS Lustre
Architecture Centralized Centralized Distributed Decentralized Centralized
Naming Index Database CRUSH EHA Index
API

CLI, FUSE

REST, API

CLI, FUSE

API

FUSE, mount

REST

 FUSE, mount FUSE
Fault detection Fully connect P2P Fully connect Detected Manually
System availability No failover No failover High High Failover
Data availability Replication Replication Replication RAID-like No
Placement strategy Auto Manual Auto Manual No
Replication Async. Sync Sync Sync RAID-like
Cache consistency WORM, lease Lock Lock No Lock
Load balancing Auto Manual Manual Manual N

表 2 ：I/O 效能

HDFS iRODS Ceph GlusterFS Lustre MooseFS
Input/Output I O I O I O I O I O I O
1 × 20GB 407s 401s 520s 500s 419s 382s 341s 403s 374s 415s 448s 385s
1000 × 1MB 72s 17s 86s 23s 76s 21s 59s 18s 66s 5s 68s 4s

注意：紅色代表性能好，綠色代表性能差。測試環境 grid5000平臺，2個cluster.

結論

HDFS, MooseFS, iRODS and Lustre 更適合儲存小檔案， Ceph and GlusterFS對大小檔案都適合。該測試除了iRODS,檔案都是採用的分條（striping），striping能夠提高大檔案的效能，對於小檔案沒有明顯的作用。測試結果依賴網路，但是這不影響得出下面的結論，gluster去中心化的架構，表現的要比其他架構更好。

想了解更多的測試結果和對比資訊，請點選下面的連結：點選開啟連結

下面附上docker安裝glusterFS

下載節點容器映象

1
 
docker pull gluster/gluster-centos

建立元資料目錄

1

mkdir -p /etc/glusterfs{1,2,3} /var/lib/glusterd{1,2,3} /var/log/glusterfs{1,2,3}

建立節點容器例項

1
2
3
4
5
6
7
8
9
10

for i in `seq 1 3`; do
        mkdir -p $etc$i $var$i $log$i
        docker run -d --privileged=true --name gluster$i --hostname=gluster$i \
                -v /etc/glusterfs$i:/etc/glusterfs:z \
                -v /var/lib/glusterd$i:/var/lib/glusterd:z \
                -v /var/log/glusterfs$i:/var/log/glusterfs:z \
                -v /sys/fs/cgroup:/sys/fs/cgroup:ro \
                -v /dev:/dev \
                gluster/gluster-centos
done

組建叢集

1

docker exec -ti gluster1 /bin/bash

1
2

gluster peer probe <gluster2 ip addr>
gluster peer probe <gluster3 ip addr>

建立卷

冗餘卷 (replica)

1

gluster peer volume create v1 replica 3 172.17.0.{2,3,4}:/mnt/v1 force

條帶卷 (stripe)

1

gluster peer volume create v2 strip 3 172.17.0.{2,3,4}:/mnt/v2 force

糾刪碼卷 (disperse)

1

gluster peer volume create e3 disperse 3 redundancy 1 172.17.0.{2,3,4}:/mnt/v3 force
  • 由於這些容器例項的/mnt與/在同一個分割槽，故需要指定force引數。
  • 建立卷時，目錄/mnt/v{1,2,3}將被gluster自動建立，前提是父目錄 (/mnt)已存在

掛載卷

通過FUSE掛載

1

mount -t glusterfs 172.17.0.2:/v1 /mnt/glusterfs/

相關推薦

GFS、HDFS等分散式檔案系統對比介紹

分散式檔案系統很多，包括GFS，HDFS，淘寶開源的TFS，Tencent用於相簿儲存的TFS (Tencent FS，為了便於區別，後續稱為QFS)，以及Facebook Haystack。其中，TFS，QFS以及Haystack需要解決的問題以及架構都很

分散式檔案系統的對比

本文對常用的分散式檔案系統進行一個簡要的對比，設計的分散式檔案系統有：HSFS,IRODS,Ceph,ClusterFs,Lustre,MooseFS. 架構 Lustre把metadata儲存到單節點sever的硬碟。客戶端的rps(client request per

找到一個適合的分散式檔案系統之各種分散式檔案系統優缺點對比

一、各種分散式檔案系統對比 1.1 表格對比 技術 優點 缺點 總結 1、   HDFS 1、大資料批量讀寫，吞吐量高； 2、一次寫入，多次讀取

Atitit 分散式檔案系統 hdfs nfs fastfs 目錄 1. 分散式檔案系統 1 2. 什麼是FastDFS 1 2.1. FastDFS特性： 1 2.1.1. fastdfs是否可在

Atitit 分散式檔案系統 hdfs nfs fastfs   目錄 1. 分散式檔案系統 1 2. 什麼是FastDFS 1 2.1. FastDFS特性： 1 2.1.1. fastdfs是否可在windows系統下安裝?可以的話,哪位可以..._百度知道 2

使用python的hdfs包操作分散式檔案系統（HDFS）

===================================================================================== 寫在前邊的話：         之前做的Hadoop叢集，組合

FastDFS分散式檔案系統配置與部署

一文搞定FastDFS分散式檔案系統配置與部署 閱讀目錄 1 分散式檔案系統介紹 2 系統架構介紹 3 FastDFS效能方案 4 Linux基本命令操作 5 安裝VirtualBox虛擬機器並配置Ubuntu

常見檔案系統對比分析（NFS、GFS、NAS）

本章我們來分析下常見檔案系統對比分析，這裡我們主要講解NFS、GFS、NAS相關概念及區別。 《一》NFS NFS 是Network File System的縮寫，中文解釋是網路檔案系統，它是FreeBSD支援的檔案系統中的一種，它允許網路中的計算機之間通過TCP/IP網路共享資源。在N

第3章:Hadoop分散式檔案系統(2)

資料流 讀取檔案資料的剖析 為了知道客戶端與HDFS，NameNode,DataNode互動過程中資料的流向，請看圖3-2，這張圖顯示了讀取檔案過程中主要的事件順序。 客戶端通過呼叫FileSystem物件的open()方法開啟一個希望從中讀取資料的檔案，對於HDFS來說，FileSystem是一個Dis

1、HDFS分散式檔案系統

1、HDFS分散式檔案系統 分散式儲存 分散式計算 2、hadoop hadoop含有四個模組，分別是 common、 hdfs和yarn。 common 公共模組。 HDFS hadoop distributed file system，hadoop分散式檔案系統，負責檔案的

hadoop[4]-hdfs分散式檔案系統的基本工作機制

一、Namenode 和 Datanode HDFS採用master/slave架構。一個HDFS叢集是由一個Namenode和一定數目的Datanodes組成。Namenode是一箇中心伺服器，負責管理檔案系統的名字空間(namespace)以及客戶端對檔案的訪問。叢集中的Datanode一般是一個節點一

Hadoop分散式檔案系統搭建以及基本操作

1. 環境搭建 jdk-1.8 jdk下載地址 export JAVA_HOME = /usr/lib/java/jdk1.7.0_21 export PATH =$JAVA_HOME/bin:$PATH hadoop-2.7.3 hadoop各個版本

CentOS 7 安裝配置分散式檔案系統 FastDFS 5.11

            CentOS 7  安裝配置分散式檔案系統  FastDFS 5.11 前言：     FastDFS是現在比較流行的分散式檔案系

流行的開源分散式檔案系統比較

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

部署MooseFS分散式檔案系統

MooseFS是一個分散式檔案系統,其本身具有高可用性,高拓展性,開放原始碼,高容錯,等在資料的讀寫效能方面,通過dd測試,MooseFS也就是寫入的速度稍微好於NFS,讀上沒有差別. MooseFS的檔案系統結構體系可分為以下四種角色,分別對應不同的功能: 1.管理伺服器managing server

MooseFS分散式檔案系統介紹

一、簡介 　　MooseFS是一個具備冗餘容錯功能的分散式網路檔案系統，它將資料分別存放在多個物理伺服器或單獨磁碟或分割槽上，確保一份資料有多個備份副本。對於訪問的客戶端或者使用者來說，整個分散式網路檔案系統叢集看起來就像一個資源一樣。從其對檔案操作的情況看，MooseFS就相當於一個類UNIX檔案系統。

如何搭建MFS分散式檔案系統(二)

chunkServer資料儲存節點上的操作記錄 1）關閉防火牆（selinux也要關閉，執行setenforce 0） [[email protected] ~]# /etc/init.d/iptables stop 2）建立mfs使用者和組 [[email protec

如何搭建MFS分散式檔案系統

1什麼是分散式檔案系統？ 是一個具有容錯性的網路分散式檔案系統，它將資料分散存放在多個物理伺服器或單獨磁碟或分割槽上，確保一份資料 有多個備份副本，對於訪問MFS的客戶端或者使用者來說，整個分散式網路檔案系統叢集看起來就像一個資源一樣，也就是說呈現給使用者的是一個統一的資源。

（三）CentOS7搭建FastDFS V5.11分散式檔案系統

第一篇主要講下載相關的軟體安裝包； 第二篇主要講FastDFS的搭建； 第三篇主要講FastDFS與Nginx的整合； 1、FastDFS與Nginx的整合並測試 前面兩篇博文已對FastDFS的安裝和配置，做了比較詳細的講解。FastDFS的基礎模組都搭好了，現在開始測試下載。

（二）CentOS7搭建FastDFS V5.11分散式檔案系統

第一篇主要講下載相關的軟體安裝包； 第二篇主要講FastDFS的搭建； 第三篇主要講FastDFS與Nginx的整合； 1、CentOS7中FastDFS搭建     1.1整理一下我們下載的軟體包 fastdfs-5.11 fastdfs-nginx-m

（一）CentOS7搭建FastDFS V5.11分散式檔案系統

宣告：本文章參考 https://blog.csdn.net/m0_37797991/article/details/73381648，此博文連線為我老師的博文連結，在搭建FastDFS V5.11分散式檔案系統環境中為記錄適合自己的環境搭建過程，特重寫此博文！ 1、緒論 因學習以