centos7下MFS分散式檔案系統-實測沒問題!!!
實驗原理:MFS是一個具有容錯性的網路分散式檔案系統,它把資料分散在多個物理伺服器上,而呈現給使用者的則是一個統一的資源。
實驗拓撲:192.168.80.181 Master server(主機名:www.aa.com)(元資料伺服器,在整個體系中負責管理檔案系統,維護元資料)
192.168.80.182 Metlogger server (www.ab.com)(日誌伺服器,備份Master伺服器的變化日誌檔案,當Master伺服器資料丟失損壞時從這裡取得檔案進行恢復)
192.168.80.183 Client (www.ac.com)
192.168.80.184 Chunk server1 (www.ad.com) (真正儲存資料的伺服器)
192.168.80.185 Chunk server2 (www.ae.com)
-----搭建Master server---------
[[email protected] ~]# service firewalld stop
[[email protected] ~]# setenforce 0
[[email protected] ~]# yum install -y zlib-devel
[[email protected] ~]# groupadd mfs //建立使用者組
[[email protected] ~]# tar xf moosefs-3.0.100-1.tar.gz -C /opt/
[[email protected] ~]# cd /opt/moosefs-3.0.100/
[[email protected] ~]# ./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \ //不配置
--disable-mfsmount //不配置客戶端
[[email protected] ~]# make && make install
//把模板檔案複製為可以被執行的檔案
[[email protected] ~]# cd /usr/local/mfs/etc/mfs/
[[email protected] ~]# cp mfsmaster.cfg.sample mfsmaster.cfg(主配置檔案)
[[email protected] ~]# cp mfsexports.cfg.sample mfsexports.cfg(被掛載目錄及許可權配置檔案)
[[email protected] ~]# cp mfstopology.cfg.sample mfstopology.cfg
[[email protected] ~]# cd /usr/local/mfs/var/mfs/
[[email protected] ~]# cp metadata.mfs.empty metadata.mfs
[[email protected] ~]# chown mfs:mfs /usr/local/mfs/var/mfs //修改檔案的屬主和屬組
[[email protected] ~]# /usr/local/mfs/sbin/mfsmaster start
[[email protected] ~]# netstat -anpt | grep mfs
-------搭建MetaLogger server---------
[[email protected] ~]# service firewalld stop
[[email protected] ~]# setenforce 0
[[email protected] ~]# yum install -y zlib-devel
[[email protected] ~]# groupadd mfs
[[email protected] ~]# useradd -s /sbin/nologin -g mfs -M mfs
[[email protected] ~]# tar xf moosefs-3.0.100-1.tar.gz -C /opt/
[[email protected] ~]# cd /opt/moosefs-3.0.100/
[[email protected] ~]# ./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \
--disable-mfsmount
[[email protected] ~]# make && make install
[[email protected] ~]# cd /usr/local/mfs/etc/mfs/
[[email protected] mfs]# cp mfsmaster.cfg.sample mfsmaster.cfg
[[email protected] mfs]# cp mfsexports.cfg.sample mfsexports.cfg
[[email protected] mfs]# cp mfsmetalogger.cfg.sample mfsmetalogger.cfg
[[email protected] mfs]# cd /usr/local/mfs/var/mfs
[[email protected] mfs]# mv metadata.mfs.empty metadata.mfs
[[email protected] mfs]#cd /usr/local/mfs/etc/mfs/
[[email protected] mfs]#vi mfsmetalogger.cfg
MASTER_HOST = 192.168.80.181
:wq
[[email protected] mfs]# /usr/local/mfs/sbin/mfsmaster start
[[email protected] mfs]# netstat -anpt | grep mfs
-------搭建chunkserver-----
[[email protected] ~]# service firewalld stop
[[email protected] ~]# setenforce 0
[[email protected] ~]# yum install -y zlib-devel
[[email protected] ~]# groupadd mfs
[[email protected] ~]# useradd -s /sbin/nologin -g mfs -M mfs
[[email protected] ~]# tar xf moosefs-3.0.100-1.tar.gz -C /opt/
[[email protected] ~]# cd /opt/moosefs-3.0.100/
[[email protected] moosefs-3.0.100]# ./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfsmaster \ //不配置master server
--disable-mfsmount
[[email protected] moosefs-3.0.100]# make && make install
[[email protected] moosefs-3.0.100]# cd /usr/local/mfs/etc/mfs/
[[email protected] mfs]# cp mfschunkserver.cfg.sample mfschunkserver.cfg
[[email protected] mfs]# cp mfshdd.cfg.sample mfshdd.cfg
[[email protected] mfs]# vi mfschunkserver.cfg
MASTER_HOST = 192.168.80.181
:wq
[[email protected] mfs]# vi mfshdd.cfg
/data
:wq
[[email protected] mfs]# mkdir /data
[[email protected] mfs]# chown -R mfs:mfs /data
[[email protected] mfs]# /usr/local/mfs/sbin/mfschunkserver start
[[email protected] mfs]# netstat -anpt | grep mfs
----還有一臺185配置相同-------
----------客戶端配置----------
[[email protected] ~]# service firewalld stop
[[email protected] ~]# setenforce 0
[[email protected] ~]# yum install -y zlib-devel
[[email protected] ~]# tar xzvf fuse-2.9.2.tar.gz
[[email protected] ~]# cd fuse-2.9.2
[[email protected] fuse-2.9.2]# ./configure
[[email protected] fuse-2.9.2]# make && make install
[[email protected] fuse-2.9.2]# vi /etc/profile
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
[[email protected] fuse-2.9.2]# source /etc/profile
-----------安裝mfs客戶端------------
[[email protected] fuse-2.9.2]# groupadd mfs
[[email protected] fuse-2.9.2]# useradd -s /sbin/nologin -g mfs -M mfs
[[email protected] ~]# tar xf moosefs-3.0.100-1.tar.gz -C /opt/
[[email protected] ~]# cd /opt/moosefs-3.0.100/
[[email protected] moosefs-3.0.100]# ./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfsmaster \
--disable-mfschunkserver \
--enable-mfsmount
[[email protected] moosefs-3.0.100]# make && make install
[[email protected] moosefs-3.0.100]# mkdir /opt/mfs //建立掛接點
[[email protected] moosefs-3.0.100]# modprobe fuse //載入fuse模組到核心
[[email protected] moosefs-3.0.100]# /usr/local/mfs/bin/mfsmount /opt/mfs -H 192.168.80.181 //master地址
[[email protected] moosefs-3.0.100]# df -hT
[[email protected] moosefs-3.0.100]# umount /opt/mfs //如果要解除安裝使用這條命令
----優化客戶端------
[[email protected] moosefs-3.0.100]# vi /etc/profile
export PATH=/usr/local/mfs/bin:$PATH
:wq
[[email protected] moosefs-3.0.100]# source /etc/profile
[[email protected] moosefs-3.0.100]# mfsgetgoal -r /opt/mfs/ //檢視備份目錄中檔案的拷貝份數
[[email protected] moosefs-3.0.100]# mfssetgoal -r 3 /opt/mfs/ //設定備份目錄中檔案的拷貝份數,不要大於chunkserver的總數
[[email protected] moosefs-3.0.100]# mfsgetgoal 檔名 //檢視指定檔案或目錄的拷貝份數
-----MASTER-server-----啟動監控程式--
[[email protected] moosefs-3.0.100]# /usr/local/mfs/sbin/mfscgiserv
測試檢視:
http://192.168.80.181:9425/mfs.cgi?masterhost=www.aa.com //注意主機名
相關推薦
centos7下MFS分散式檔案系統-實測沒問題!!!
實驗原理:MFS是一個具有容錯性的網路分散式檔案系統,它把資料分散在多個物理伺服器上,而呈現給使用者的則是一個統一的資源。實驗拓撲:192.168.80.181 Master server(主機名:www.aa.com)(元資料伺服器,在整個體系中負責管理檔案系統,維護元資料
centos7下glusterFs 分散式檔案系統環境搭建
1、GlusterFS簡介: GlusterFS是一個開源的分散式檔案系統 相關術語如下: - Brick:GFS中的儲存單元,通過是一個受信儲存池中的伺服器的一個匯出目錄。可以通過主機名和目錄名來標識,如’SERVER:EXPORT’ - Clien
如何搭建MFS分散式檔案系統(二)
chunkServer資料儲存節點上的操作記錄 1)關閉防火牆(selinux也要關閉,執行setenforce 0) [[email protected] ~]# /etc/init.d/iptables stop 2)建立mfs使用者和組 [[email protec
如何搭建MFS分散式檔案系統
1什麼是分散式檔案系統? 是一個具有容錯性的網路分散式檔案系統,它將資料分散存放在多個物理伺服器或單獨磁碟或分割槽上,確保一份資料 有多個備份副本,對於訪問MFS的客戶端或者使用者來說,整個分散式網路檔案系統叢集看起來就像一個資源一樣,也就是說呈現給使用者的是一個統一的資源。
【親測】centos7下掛載ntfs檔案系統型別的行動硬碟
【親測】centos7下掛載ntfs檔案系統型別的行動硬碟 【參考】 【流程】 2.解壓,配置,編譯,安裝 $tar zxvf ntfs-3g_ntfsprogs-2017.3.23.tgz $ cdntfs-3g_ntfsprogs-2017.3.23/
mfs分散式檔案系統配置
MFS是什麼 MFS全稱MooseFS,是檔案管理系統的抽象層,將使用者的資料通過master之後,儲存在多個網路儲存節點上面,這個過程對於使用者來說時透明的,並且MFS具有很強大的網路容錯能力;MFS的特性 1.是一個通用的檔案系統,不需要商城應用軟體提供介面,直接可以進
centos7下fastDFS分散式檔案伺服器的搭建
基礎概念 首先簡單瞭解一下基礎概念,FastDFS是一個開源的輕量級分散式檔案系統,由跟蹤伺服器(tracker server)、儲存伺服器(storage server)和客戶端(client)三個部分組成,主要解決了海量資料儲存問題,特別適合以中
Mfs 分散式檔案系統學習
1.MFS 分散式檔案系統介紹: MFS 特性: 1. Free(GPL) 2. 2. 通用檔案系統,不需要修改上層應用就可以使用 3. 可以線上擴容,體系架構可伸縮性極強。#直接 chunkserver 4. 部署簡單。 5. 高可用,可設定任意的
mfs 分散式檔案系統
12. mfs官方關於1.6.x 的介紹 翻譯人(QQ群戰友:Cuatre ) View on new features of next release v 1.6 of Moose File System 關於對MFS(Moose File System)下一個釋出版本V1.6新特性的
(三)CentOS7搭建FastDFS V5.11分散式檔案系統
第一篇主要講下載相關的軟體安裝包; 第二篇主要講FastDFS的搭建; 第三篇主要講FastDFS與Nginx的整合; 1、FastDFS與Nginx的整合並測試 前面兩篇博文已對FastDFS的安裝和配置,做了比較詳細的講解。FastDFS的基礎模組都搭好了,現在開始測試下載。
(二)CentOS7搭建FastDFS V5.11分散式檔案系統
第一篇主要講下載相關的軟體安裝包; 第二篇主要講FastDFS的搭建; 第三篇主要講FastDFS與Nginx的整合; 1、CentOS7中FastDFS搭建 1.1整理一下我們下載的軟體包 fastdfs-5.11 fastdfs-nginx-m
(一)CentOS7搭建FastDFS V5.11分散式檔案系統
宣告:本文章參考 https://blog.csdn.net/m0_37797991/article/details/73381648,此博文連線為我老師的博文連結,在搭建FastDFS V5.11分散式檔案系統環境中為記錄適合自己的環境搭建過程,特重寫此博文! 1、緒論 因學習以
CentOS7搭建FastDFS V5.11分散式檔案系統及Java整合詳細過程(一)
1.緒論 最近要用到fastDFS,所以自己研究了一下,在搭建FastDFS的過程中遇到過很多的問題,為了能幫忙到以後搭建FastDFS的同學,少走彎路,與大家分享一下。FastDFS的作者淘寶資深架構餘慶,這個優秀的輕量及的分散式檔案系統的開源沒多久
在linux Ubuntu16上搭建ceph分散式檔案系統(四節點)實測有效!
特別注意:如果命令直接複製粘貼出現錯誤,則手動輸入可解決參考教程:第一步~~~.準備 4個Ubuntu 16.04 Server 虛擬機器(可以使用VMware或者VirtualBox)配置好每個虛擬機器的IP 以及hostname (很重要!)我的四臺虛擬機器配置如下:(
CentOS7搭建FastDFS V5.11分散式檔案系統及Java整合詳細過程(三)
1.測試 前面兩篇博文已對FastDFS的安裝和配置,做了比較詳細的講解。FastDFS的基礎模組都搭好了,現在開始測試下載。 1.1 配置客戶端 同樣的,需要修改客戶端的配置檔案: vim /etc/fdfs/client.conf
分散式檔案系統MFS、Ceph、GlusterFS、Lustre的比較
原文:http://blog.csdn.net/metaxen/article/details/7108958 MooseFS(MFS) Ceph GlusterFS Lustre Metadata
分散式檔案系統MFS的基本用法以及高可用實現
實驗主機環境(redhat 6.5 x86_64bit) ip hostname softwares to install 192.168.1.8 cobbler1 mfs-master cgi-server keepali
分散式檔案系統MFS部署
MFS 簡介 MFS 即Moosefs ,是一款網路分散式檔案系統,是一個將資料分散在多臺伺服器上,然後通過網路掛載在客戶端,使客戶端能像使用本地硬碟一樣儲存資料。MFS也像其他類Unix檔案系統一樣,包含了層級結構(目錄樹),儲存檔案屬性(許可權,最後訪問,最後修改等),
linux學習之搭建高可用分散式檔案系統MFS
停止mfs [[email protected] ~]# umount /mnt/mfs/ [[email protected] chunk1]# mfschunkserver stop [[email protected] chunk1]# mfschunkserver sto
每天進步一點點——分散式檔案系統下的本地快取
在分散式檔案系統中,為了提高系統的效能,常常會引入不同型別的快取儲存系統(演算法優化所帶來的的效果可能遠遠不如快取帶來的優化效果)。在軟體中快取儲存系統一般可分為了兩類:一、分散式快取,例如:Memcached、Redis、淘寶的Tair等,二、本地快取,例如:Facebook的flushcache等