如何搭建MFS分散式檔案系統
1什麼是分散式檔案系統?
是一個具有容錯性的網路分散式檔案系統,它將資料分散存放在多個物理伺服器或單獨磁碟或分割槽上,確保一份資料
有多個備份副本,對於訪問MFS的客戶端或者使用者來說,整個分散式網路檔案系統叢集看起來就像一個資源一樣,也就是說呈現給使用者的是一個統一的資源。
2.MooseFS的特性?
高可靠性 高可擴充套件性 高可容錯性 高資料一致性 通用檔案系統 可以線上擴容 部署簡單 提供web gui監控介面
可回收在指定時間內刪除的檔案
- MFS分散式檔案系統的結構是怎麼樣的?
MFS檔案系統由四部分組成
0.1 Master Server(管理伺服器) 0.2 Metalogger Server(備份伺服器) 0.3 Chunk Server(儲存資料的伺服器,可以有多臺,chunk伺服器越多,容量越大,可靠性和效能也就越高) 0.4 mfs client客戶端
3.搭建MFS管理伺服器
3.001 繫結hosts,關閉防火牆和selinxu
182.48.115.233 master-server
182.48.115.235 metalogger
182.48.115.236 chunkServer1
182.48.115.237 chunkServer1
setenforce 0 && systemctl stop firewalld
3.002 建立mfs使用者和組
useradd mfs -s /sbin/nologin
3.003 下載原始碼安裝包
wget http://ppa.moosefs.com/src/moosefs-3.0.100-1.tar.gz
3.004 解壓編譯 安裝
tar -zvxf moosefs-3.0.91-1.tar.gz && cd moosefs-3.0.91
./configure
–prefix=/usr/local/mfs #指定安裝路徑
–with-default-user=mfs #指定使用者
–with-default-group=mfs #指定使用者組
make && make install
cd /usr/local/mfs/etc/mfs
mfsmaster.cfg 主檔案
mfsexports.cfg mfs掛載許可權設定,參考NFS檔案系統中的exports.cfg
mfstopology.cfg 機架感知
3.004 修改主配置檔案
cp -a mfsmaster.cfg.sample mfsmaster.cfg
cp -a mfstopology.cfg.sample mfstopology.cfg
cp -a mfsexports.cfg.sample mfsexports.cfg
vim mfsexports.cfg
182.48.115.0/24 / rw,alldirs,maproot=0 #alldirs 允許掛載任何指定的子目錄,maproot 對映為root,
-
. rw
cd …/…/var/mfs/
cp -a metadata.mfs.empty metadata.mfs
chown -R mfs:mfs /usr/local/mfs
/usr/local/mfs/sbin/mfsmaster start #啟動mfs
檢視下程序 ps -ef|grep mfs
lsof -i:9420 //防火牆如果開啟了,需要開放9420埠訪問
ln -s /usr/local/mfs/sbin/mfsmaster /etc/init.d/mfsmaster
/etc/init.d/mfsmaster statrt
3.005 啟動和停止Web GUI
/usr/local/mfs/sbin/mfscgiserv start
ps -ef|grep mfscgiserv
root 31352 1 0 11:01 ? 00:00:00 /usr/bin/python /usr/local/mfs/sbin/mfscgiserv
root 31356 24958 0 11:02 pts/0 00:00:00 grep mfscgiserv
到此 Master Server(管理伺服器) 配置成功可以訪問http://182.48.115.233:9425 檢視
metalogger元資料日誌伺服器操作記錄
初始步驟 建立使用者,關閉防火牆,編譯安裝這些都和管理伺服器安裝方法相同我在這裡重點說明下修改配置檔案
cd /usr/local/mfs/etc/mfs/
cp mfsmetalogger.cfg.sample mfsmetalogger.cfg
vim mfsmetalogger.cfg
META_DOWNLOAD_FREQ = 1 #META_DOWNLOAD_FREQ 表示源資料備份下載請求頻率,這裡設定為1小時。預設為24小時,當元資料伺服器關閉或者出故障時,matedata.mfs.back 檔案將消失,那麼要恢復整個mfs,則需從metalogger 伺服器取得該檔案。請特別注意這個檔案,它與日誌
檔案(即changelog_ml.0.mfs檔案)一起,才能夠恢復整個被損壞的分散式檔案系統。元資料日誌伺服器的備份資料存放目錄是/usr/local/mfs/var/mfs/
MASTER_HOST = 182.48.115.233 #如果是單機環境的話,這個不能為localhost或127.0.0.1,要使用對外IP
MASTER_PORT = 9419
cd …/…/var/mfs/
cp metadata.mfs.empty metadata.mfs
chown -R mfs:mfs /usr/local/mfs
啟動metalogger節點服務
ln -s /usr/local/mfs/sbin/mfsmetalogger /etc/init.d/mfsmetalogger
/etc/init.d/mfsmetalogger start
檢視程序是否啟動
ps -ef|grep mfs
chunkServer資料儲存節點上的操作記錄
下一章繼續