2. 程式人生 > >CentOS 7下搭建MFS分布式文件系統

CentOS 7下搭建MFS分布式文件系統

阿新 • • 發佈：2018-08-01
行數 watermark login 分享 bin metal 復制。 path block

MFS原理

MFS是一個具有容錯性的網絡分布式文件系統，它把數據分散存放在多個服務器上，而呈現給用戶的則是一個統一的資源。

MFS文件系統的組成架構：

  • 元數據服務器（Master）：在整個體系中負責管理文件系統，維護元數據；
  • 元數據日誌服務器（Metalogger）：備份Master服務器的變化日誌文件，文件類型為changlog_ml.*.mfs。當Master服務器數據丟失或者損壞時，可以從日誌服務器中取得文件，進行恢復；
  • 數據存儲服務器（Chunk Server）：真正存儲的數據的服務器。存儲文件時，會把文件分塊保存，並在數據服務器之間進行復制。數據服務器越多，能夠使用的容量則越大，可靠性就越高，性能也就越好；
    客戶端（Client）：可以像掛載NFS一樣掛載MFS文件系統，其操作是相同的。

MFS讀取數據的過程：

  • 客戶端向元數據服務器發出讀請求；
  • 元數據服務器把所需數據存放的位置（ChunkServer的IP地址和Chunk編號）告知客戶端；
    客戶端向已知的ChunkServer請求發送數據；
  • Chunkserver向客戶端發送數據。

MFS寫入數據的過程：

  • 客戶端向元數據服務器發送寫入請求；
  • 元數據服務器與ChunkServer進行交互，但元數據服務器只在某些服務器創建新的分塊Chunks,創建成功後由ChunkServers告知元數據服務器操作成功；
  • 元數據服務器告知客戶端，可以在哪個ChunkServer的哪些Chunks吸入數據；
  • 客戶端向指定的ChunkServer寫入數據；
  • 該ChunkServer與其他ChunkServer進行數據同步，同步成功後ChunkServer告知客戶端數據寫入成功；
  • 客戶端告知元數據服務器本次寫入完畢。

系統環境：

主機 操作系統 IP地址 軟件
Master Server CentOS 7.4 X86_64 192.168.100.131 mfs-1.6.27-5.tar.gz
MetaLogger Server CentOS 7.4 X86_64 192.168.100.132 mfs-1.6.27-5.tar.gz
Chunk Server 1 CentOS 7.4 X86_64 192.168.100.136 mfs-1.6.27-5.tar.gz
Cunk Server 2 CentOS 7.4 X86_64 192.168.100.138 mfs-1.6.27-5.tar.gz
Client CentOS 7.4 X86_64 192.168.100.135 mfs-1.6.27-5.tar.gz、fuse-2.9.2.tar.gz

操作步驟如下所示：

1.搭建Master Server

(1)下載源碼包及安裝包

#關閉防火墻及Selinux
systemctl stop firewalld.service
setenforce 0
#安裝相關依賴包
yum -y install gcc gcc-c++ zlib-devel

（2）創建用戶

useradd -s /sbin/nologin -M mfs

（3）安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz -C /opt

cd /opt/mfs-1.6.27-5/

./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver \   #禁用mfschunkserver功能
--disable-mfsmount        #禁用mfsmout功能

make && make install

（4）復制文件

cd /usr/local/mfs/etc/mfs
cp mfsmaster.cfg.dist mfsmaster.cfg   #主配置文件
cp mfsexports.cfg.dist mfsexports.cfg #被掛載目錄及權限配置文件
cp mfstopology.cfg.dist mfstopology.cfg #角色分布文件

技術分享圖片

（5）防溢出

cd /usr/local/mfs/var/mfs/
cp metadata.mfs.empty metadata.mfs

技術分享圖片

（6）主配置文件mfsmaster.cfg和被掛載目錄及權限配置文件mfsexports.cfg配置文件不需要修改

（7）啟動Master Server

/usr/local/mfs/sbin/mfsmaster start

技術分享圖片
技術分享圖片
停止Master Server的命令是/usr/local/mfs/sbin/mfsmaster -s

2.搭建MetaLoggerServer

(1)下載源碼包及安裝包

#關閉防火墻及Selinux
systemctl stop firewalld.service
setenforce 0
#安裝相關依賴包
yum -y install gcc gcc-c++ zlib-devel

（2）創建用戶

useradd -s /sbin/nologin -M mfs

（3）安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz -C /opt

cd /opt/mfs-1.6.27-5/

./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver \   #禁用mfschunkserver功能
--disable-mfsmount    #禁用mfsmout功能

make && make install

（4）復制文件

cd /usr/local/mfs/etc/mfs
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cp mfsexports.cfg.dist mfsexports.cfg
cp mfstopology.cfg.dist mfstopology.cfg

技術分享圖片

（5）修改配置文件mfsmetalogger.cfg

vim /usr/local/mfs/etc/mfs/mfsmetalogger.cfg

    MASTER_HOST=192.168.100.131  #修改為Master Server的IP地址

（6）啟動mfsmetalogger Server

/usr/local/mfs/sbin/mfsmetalogger start

技術分享圖片
技術分享圖片

3.搭建Chunk Server

兩臺搭建Chunk Server的步驟是相同的，其步驟如下所示：

(1)下載源碼包及安裝包

#關閉防火墻及Selinux
systemctl stop firewalld.service
setenforce 0
#安裝相關依賴包
yum -y install gcc gcc-c++ zlib-devel

（2）創建用戶

useradd -s /sbin/nologin -M mfs

（3）安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz -C /opt

cd /opt/mfs-1.6.27-5/

./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster\   #禁用mfsmaster功能
--disable-mfsmount    #禁用mfsmount功能

make && make install

（4）復制文件

cd /usr/local/mfs/etc/mfs
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg

技術分享圖片

（5）修改配置文件mfschunkserver.cfg和mfshdd.cfg

vim /usr/local/mfs/etc/mfs/mfschunkserver.cfg

    MASTER_HOST=192.168.100.131  #修改為Master Server的IP地址 
    ..... #省略部分內容
vim /usr/local/mfs/etc/mfs/mfshdd.cfg    
    .....  #省略部分內容
    /data       #添加一行/data，作為MFS的分區.生產環境最好使用獨立分區或磁盤掛載到此目錄

（6）創建數據目錄

mkdir /data
chown -R mfs:mfs /data

（7）啟動mfschunk Server

/usr/local/mfs/sbin/mfschunkserver start

技術分享圖片

4.搭建客戶端

(1)下載源碼包及安裝包

#關閉防火墻及Selinux
systemctl stop firewalld.service
setenforce 0
#安裝相關依賴包
yum -y install gcc gcc-c++ zlib-devel

（2）安裝FUSE

MFS客戶端依賴於FUSE

tar xzvf fuse-2.9.2.tar.gz

cd fuse-2.9.2
./configure
make && make install

設置環境變量：

vim /etc/profile

  export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

source /etc/profile

（3）安裝MFS客戶端

useradd -s /sbin/nologin -M mfs

tar zxvf mfs-1.6.27-5.tar.gz -C /opt

cd /opt/mfs-1.6.27-5/
./configure --prefix=/usr/local/mfs \  
--with-default-user=mfs --with-default-group=mfs --disable-mfsmaster \   #禁用mfsmaster功能
--disable-mfschunkserver \ #禁用mfschunkserver功能
--enable-mfsmount  #啟用mfsmount功能

make && make install

（4）掛載MFS文件系統

mkdir /mnt/mfs   #創建掛載點

modprobe fuse    #加載fuse模塊到內核

/usr/local/mfs/bin/mfsmount /mnt/mfs -H 192.168.100.131   #掛載mfs

df -TH   #查看掛載情況

技術分享圖片

（5）MFS常用操作

為了方便使用MFS的命令，將/usr/local/mfs/bin加入到環境變量中。

vim /etc/profile

   export PATH=/usr/local/mfs/bin:$PATH   #添加

source /etc/profile

mfssetgoal命令用來設置文件被復制的份數。
技術分享圖片
創建文件測試如下：
技術分享圖片
分別去2個chunkserver上查看數據目錄/data,結果如下所示：
技術分享圖片

5.MFS監控

Mfscgiserv使用python編寫的一個web服務器，其監聽端口是9425，可以在Master Server上通過命令/usr/local/mfs/sbin/Mfscgiserv來啟動，用戶利用瀏覽器可以全面監控所有客戶掛載、Chunk Server、Master Server，以及客戶端的各種操作等。

在客戶端上通過瀏覽器訪問http://192.168.100.131:9425
技術分享圖片

CentOS 7下搭建MFS分布式文件系統

相關推薦

CentOS 7下搭建MFS分布式文件系統

行數 watermark login 分享 bin metal 復制。 path block MFS原理 MFS是一個具有容錯性的網絡分布式文件系統，它把數據分散存放在多個服務器上，而呈現給用戶的則是一個統一的資源。 MFS文件系統的組成架構： 元數據服務器（Mas

Linux搭建MFS分布式文件系統

分布式 mfs 文件 說明：架構規劃元數據服務器 mfs-master-1 172.16.100.2備份服務器 mfs-metalogger 172.16.100.4數據存儲服務器 mfs-chunkserver-1

高效實用，在centos7上搭建MFS分布式文件系統

使用 原理 source 網絡 組成 tar zxvf sha 變量 系統搭建 MFS原理: MFS是一個具有容錯性的網絡分布式文件系統，他把數據分散存放在多個物理服務器上，而呈現給用戶的則是一個統一的資源 MFS文件系統組成： 1、元數據服務器（master）

超詳細搭建MFS分布式文件系統

以及 技術分享 com type har oop ado web服務器 df -h MFS企業應用場景 多臺Web服務器通過NFS共享一個存儲，雖然業務功能上滿足了需求，但是在性能與容量上無法勝任更高的要求，NFS服務器不堪重負,會出現超時問題，同時NFS存在著單點故障問題

MFS分布式文件系統服務搭建

start web服務 屬組 data ron 指向 bcf tab 容災 分布式原理 通過計算機網絡與節點相連，就是把一些分散的（分布在局域網內各個計算機上）共享文件夾，集合到一個文件夾內（虛擬共享文件夾）。 分布式文件系統的好處是集中訪問、簡化操作、數據容災以及提高文

搭建MFS分布式文件管理系統

c-c++ 分布 epo enable 依賴 條目 proc fsmo 主配置文件 MFS原理 MFS 是一個具有容錯性的網絡分布式文件系統。它把數據分散存放在多個物理服務器上，而呈現給用戶的則是一個統一的資源。 MFS的組成 管理服務器 Master： 負責各個數

MFS分布式文件系統的原理及環境搭建

故障 firewalld 保存 tap 訪問 擴容 ports x86 pty 概述： NFS網絡文件系統在性能與容量上無法勝任更高的要求，而本篇講的MFS（MooseFS）可以提供容量PB級別的共享存儲，無需昂貴的專業硬件服務器，自身就擁有冗余功能及動態擴容功能，能保證數

詳細講解MFS分布式文件系統搭建(內含源碼包)

apr change tab -h limit config col 掛載點 通過命令 初步了解分布式原理： 分布式文件系統（Distributed File Systemm）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點相連。簡單來說

MFS分布式文件系統管理

str 支持 metadata 備份 共享 restart cli 來講 並且 MFS官方網站http://www.moosefs.org/reference-guide.html mooseFS(moose駝鹿)是一款網絡分布式文件系統，它把數據分散到多臺服務器上，但對於

簡單搭建FastDFS分布式文件系統(簡單易懂)

module config 簡單 ble 視頻網站 mkdir -p pes 9.png target 一.什麽是FastDFS 　　FastDFS一個開源的輕量級分布式文件系統，它對文件進行管理，充分考慮了冗余備份、負載均衡、線性擴容等機制，並註重高可用、高性能等指標，功

MFS分布式文件系統

實驗 之前 自動同步 sql 基礎上 alt no space src 存儲服務器 MFS分布式文件格式 1.組成1）Master（元數據服務器）：負責維護、管理數據的所在位置等2）Chunk Server（數據存儲服務器）：負責數據的存儲3）Metalogger（元數據日

MFS分布式文件系統之原理

MFS分布式文件系統1、分布式原理分布式文件系統就是把一些分散在多臺計算機上的共享文件夾，集合到一個共享文件夾內，用戶要訪問這些文件夾的時候，只要打開一個文件夾，就可以的看到所有鏈接到此文件夾內的共享文件夾。2、MFS原理MFS是一個具有容錯性的網絡分布式文件系統，它把數據分散存放在多個物理服務器上，而呈現給

centos7.4安裝MFS分布式文件系統

MFS 分布式文件系統 NFS多臺服務器通過NFS方式共享一個服務器的存儲空間，使得NFS服務器不堪重負，且會有單點故障問題，雖然用rsync可以使數據同步備份到另一臺服務器，但對提高整個系統性能無幫助。采用MFS分布式文件系統，服務器之間的數據訪問不再是一對多，而是多對多的關系，使性能大幅提升。下載地址ht

MFS分布式文件系統架構實戰

MFS分布式文件系統架構實戰MFS分布式文件系統架構實戰 MFS文件系統的組成架構：如圖元數據服務器（Master）：負責管理文件系統，維護元數據；元數據日誌服務器（c）：備份Master服務器的變化日誌文件；數據存儲服務器（ Chunk Server）：真正存儲數據的服務器；客戶端（Client）可像掛載N

MFS分布式文件系統部署

MFS 分布式文件系統 分布式文件系統是指文件系統管理的物理存儲資源通過計算機網絡與各節點相連。簡單將，就是把一些分散的共享文件夾，集合到一個文件夾內。對於用戶來說，只需要打開該虛擬文件夾，就可以使用這些分散的文件夾進行數據讀寫。分布式文件系統的好處在於集中訪問、簡化操作、冗余防災、讀寫迅速。MFS：

Yum簡單安裝MFS分布式文件系統

color rpm-gpg 單個 51cto 指定 什麽 存儲節點 指向 ima 什麽是MFS？ MooseFS是一個容錯，高可用，高性能，擴展，網絡分布式文件系統。它將數據分布在多個物理商品服務器上，這些服務器對用戶可視為一個虛擬磁盤。它符合POSIX並且像任何其他類U

社交網站部署——MFS分布式文件系統

依賴包 分布式文件系統 webp 文件夾 第一個 systemctl 關閉防火墻 ++ 防火 案例概述 某公司的社交網站采用PHP語言開發，為了管理PHP程序員開發的代碼，上級領導要求搭建SVN服務器進行版本控制。社交網站的第一個版本部署在LNMP平臺之上，前端為Nginx

MFS分布式文件系統的部署

名稱 系統 tex 權限 ast fde 分布 cfg 分布式文件 MFS分布式文件系統的部署 MFS簡介 MFS是一個具有容錯性的網絡分布式文件系統，它把數據分散存放在多個物理服務器上，而呈現給用戶的則是一個統一的資源。 MFS文件系統的組成。 元數據服務器（ma

MFS分布式文件系統（內含安裝包）

動態擴展 accep 三臺 exp aid fir 打開 onf 權限 簡介：MooseFS是一個具有容錯性的網絡分布式文件系統。它把數據分散存放在多個物理服務器上，而呈現給用戶的則是一個統一的資源。常規特征：1、分層次的結構（目錄樹）2、存儲POSIX文件屬性（權限、最後

輕松部署MFS分布式文件系統 【內附源碼包】

make ins 編號 net 支持 var 復制 取數 特殊文件 MFS概述 MFS是一種分布式文件系統，它把數據分散存放在多個物理服務器上，前面只放置一臺負責“調度”元數據服務器，最終呈現給用戶的則是一個統一的資源。優點：相對於集中式文件系統來說，分布式系統擁有更好的