一、分布式存儲系統簡介

　　隨著信息技術不斷的發展，給我們帶來便利的同時，不斷增加的數據量級、信息之間的連接關聯越來越復雜、數據訪問的並發量日益增加對I/O的要求越來越高、數據類型越來越復雜等難題也成為信息技術繼續高速發展亟需解決的難題。分布式存儲系統的出現在很大程度上解決了以上大部分難題。

　　分布式存儲系統，是將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

　　分布式存儲系統在接口類型上可分為通用分布式儲存和專用分布式儲存。通用分布式儲存是指沒有文件系統接口，需要通過API接口進行訪問；專用分布式儲存也稱為分布式文件系統，它們一般都會有文件系統接口，可以直接掛載。通用分布式儲存有mogilefs、fastdfs等，專用分布式儲存系統有moosefs等。

二、Mogilefs

1.Mogilefs架構圖：

2.組成Mogliefs的組件：

1.Trackers(mogilefsd)：Mogliefs的核心組件，主要功能是(Replication)節點文件復制、(Deletion)文件刪除、(Query)元數據查詢、(Monitor)健康監測、(Reaper)儲存失敗重置等等。它通常稱為元數據服務器，但它不會去儲存元數據，而是將元數據儲存在如MySQL這一類的數據庫中。為保證架構的可靠性，Trackers一般有多個。Trackers可看作是一個旁掛式代理，只負責處理元數據信息。

2.數據庫：數據庫用來存放Mogliefs的元數據，而由Trackers來管理數據。因此通常建議做HA。

3.mogstored(儲存節點)：實際文件存放的地方。通常會將實際文件保存至少兩份副本。

3.示例演示拓撲圖

　　在三個節點同時安裝Trackers和mogstored，選擇其中一個節點安裝MySQL。在生產環境最好是能單獨將MySQL部署並且做主從復制。Trackers和mogstored也可以分開部署在不同節點上，這些都需要根據實際的生產環境來決定。這裏主要是演示mogilefs，不做MySQL主從復制演示。若想要Mogilefs能掛載，可以用FUSE來實現。

　　需要註意的是mogilefs存儲的文件URL很特殊(後面會解釋mogilefs文件名生產的過程)，如存儲一張圖片時文件URL可能會是類似6060/0000/0000/0000/00000021.jpg這樣的格式，對用戶來講就不太友好，用戶可能需要直觀的類似image.hello.com/21.jpg這樣的URL。所以通常會使用Nginx來反代Mogilefs。

4.系統環境與安裝

　　Mogilefs是一個相對較年代較久但成熟的分布式儲存，考慮到可能在Centos7上會出現兼容問題，這裏Centos6來演示。

操作系統：CentOS release 6.6

Mogilefs：2.46

nginx：1.10

mysql：5.1

IP分配：

　　n1:192.168.29.111，n2:192.168.29.112，n3:192.168.29.113，n4:192.168.29.114

結構如上圖所示。

1.在n1節點上安裝MySQL、mogilefsd、mogstored，並將n1配置為Trackers、Storage Node

　　MySQL直接用yum安裝。

~]# yum install -y mysql mysql-server

　　安裝Mogilefs的Trackers和Storage Node組件，安裝時一定要安裝Perl相關的依賴包，依賴包有：

perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm
perl-IO-stringy-2.110-1.2.el6.rfx.noarch.rpm
perl-Net-Netmask-1.9015-8.el6.noarch.rpm
Perlbal-1.78-1.el6.noarch.rpm
perl-Perlbal-1.78-1.el6.noarch.rpm
Perlbal-doc-1.78-1.el6.noarch.rpm
perl-IO-AIO-3.71-2.el6.x86_64.rpm

　　上述依賴包一定要安裝後才能安裝Mogilefs。安裝組件：

yum install -y MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm MogileFS-Server-2.46-2.el6.noarch.rpm

　　配置 MogileFS-Server-mogilefsd ：

~]# vim /etc/mogilefs/mogilefsd.conf #Mogilfs Trackers的主配置文件

# Enable daemon mode to work in background and use syslog
daemonize = 1 #是否以守護進程的方式運行。
# Where to store the pid of the daemon (must be the same in the init script)
pidfile = /var/run/mogilefsd/mogilefsd.pid #pid文件路徑
# Database connection information
db_dsn = DBI:mysql:mogilefs:host=192.168.29.111 #數據庫的地址
db_user = moguser #配置數據庫的用戶名及密碼
db_pass = 123456
# IP:PORT to listen on for mogilefs client requests
listen = 0.0.0.0:7001 #監聽的地址與端口
# Optional, if you don‘t define the port above.
conf_port = 7001 #默認端口
# Number of query workers to start by default.
query_jobs = 10 #查詢進程數量
# Number of delete workers to start by default.
delete_jobs = 1 
# Number of replicate workers to start by default.
replicate_jobs = 5
# Number of reaper workers to start by default.
# (you don‘t usually need to increase this)
reaper_jobs = 1
# Number of fsck workers to start by default.
# (these can cause a lot of load when fsck‘ing)
#fsck_jobs = 1
# Minimum amount of space to reserve in megabytes
# default: 100
# Consider setting this to be larger than the largest file you
# would normally be uploading.
#min_free_space = 200
# Number of seconds to wait for a storage node to respond.
# default: 2
# Keep this low, so busy storage nodes are quickly ignored.
#node_timeout = 2
# Number of seconds to wait to connect to a storage node.
# default: 2
# Keep this low so overloaded nodes get skipped.
#conn_timeout = 2
# Allow replication to use the secondary node get port,
# if you have apache or similar configured for GET‘s
#repl_use_get_port = 1

　　修改完配置後，進入數據庫創建一個可以遠程連接的root用戶，或者使用 mogdbsetup 初始化數據庫：

mysql> GRANT ALL ON mogilefs.* TO ‘moguser‘@‘192.168.29.%‘ IDENTIFIED BY ‘123456‘; #創建用戶moguser，擁有管理mogilefs庫的所有權限，並允許192.168.29.*的用戶遠程連接。
mysql> FLUSH PRIVILEGES;
mysql> quit

~]# mogdbsetup --dbhost=127.0.0.1 --dbuser=moguser --dbpass=123456

　　初始化完成後可以在MySQL中看到創建好的 mogilefs 庫以及裏面的表：

　　啟動mogilefs並確認7001端口處於監聽狀態:

~]# service mogilefsd start
Starting mogilefsd                                         [  OK  ]
~]# ss -lnt

　　註：可以在n2、n3節點都安裝Trackers服務，從而消除單點故障風險也能平均I/O壓力。

3.在n1上配置Storage Node

　　Storage Node配置文件路徑為 /etc/mogilefs/mogstored.conf ：

~]# vim /etc/mogilefs/mogstored.conf
maxconns = 10000 #最大並發連接數
httplisten = 0.0.0.0:7500 #Mogilefs數據的傳輸是通過http協議實現的，這裏是監聽的地址和端口
mgmtlisten = 0.0.0.0:7501 #健康監測的監聽地址和端口
docroot = /mogliefs/mogdata #數據的存儲路徑，目錄的屬組和屬主必須是mogilefs

　　創建數據存儲目錄並修改屬組和屬主為mogilefs：

~]# mkdir -pv /mogliefs/mogdata
~]# chown -R mogilefs.mogilefs /mogliefs/

　　啟動mogstored，查看進程是否正常啟動端口是否監聽：

~]# service mogstored start
~]# ss -lnt #監聽端口為7500、7501

4.按照n1的步驟在節點n2、n3上安裝Mogilefs，並將n1上的配置文件復制到n2、n3。

~]# scp /etc/mogilefs/*.conf [email protected]:/etc/mogilefs/
~]# scp /etc/mogilefs/*.conf [email protected]:/etc/mogilefs/

　　啟動 mogstored 服務並確認監聽：

~]# service mogstored start
~]# ss -lnt #監聽端口為7500、7501

5.用在n1上用mogadm命令將所有節點整合成集群。

　　添加存儲節點，並檢查：

1 ~]# mogadm host add 192.168.29.111 --ip=192.168.29.111 --port=7500 --status=alive
2 ~]# mogadm host add 192.168.29.112 --ip=192.168.29.112 --port=7500 --status=alive
3 ~]# mogadm host add 192.168.29.113 --ip=192.168.29.113 --port=7500 --status=alive

~]# mogadm check

　　若想讓mogilefs集群中的存儲被識別成不同設備，需要在創建的 /mogliefs/mogdata 目錄下再創建名為 dev* 的目錄，使每個節點被當做存儲設備使用。mogilefs是將冗余存儲在不同設備中的，每一個節點都應該被識別為不同的設備。

　　在n1、n2、n3上的 /mogliefs/mogdata/ 目錄下分別創建dev1,dev2,dev3目錄，並在Trackers上添加設備：

1 ~]# mogadm device add 192.168.29.111 1
2 ~]# mogadm device add 192.168.29.112 2
3 ~]# mogadm device add 192.168.29.113 3

6.創建Domain和Class

　　在Mogilefs中，在多個節點上為了方便文件副本管理，通常在設備中不會以文件為單位進行管理，而是以class(類)做管理，復制刪除等操作都是以class為最小單位進行的。每個class中可以放很多文件，class的容積也不是固定的。

　　在Mogilefs的存儲空間中，所有數據文件都在同一平面，所以不能有同名的情況發生，這樣會影響Mogilefs的靈活性，所以引入了Domain(名稱空間)的概念。Domain包含Class，在不同的Domain中可以有相同的文件名。

~]# mogadm domain add imgs #創建名為imgs的Domain
~]# mogadm domain add text #創建名為text的Domain
~]# mogadm domain list #查看Domain list

　　可以自定義Class的屬性，格式為： mogadm class add <domain> <class> [opts]

~]# mogadm class add imgs png --mindevcount=3 --hashtype=MD5 #在Domain imgs中定義名為png的class，在不同設備中復制3份，並用MD5做校驗
~]# mogadm class add imgs jpg --mindevcount=3 --hashtype=MD5 #在Domain imgs中定義名為jpg的class，在不同設備中復制3份，並用MD5做校驗
~]# mogadm domain list

7.使用Mogilefs做上傳下載測試

　　Mogilefs可以用自建的API接口進行交互，其中有很多用於管理存儲數據的命令。例如上傳數據命令為 mogupload ，查看數據命令為 mogfileinfo 等。

　　例：測試將文件 /test/123.png 上傳至Mogilefs集群(文件事先在本地準備好)：

~]# mogupload --trackers=192.168.29.111 --domain=imgs --class=png --key=‘/111.png‘ --file=‘/test/123.png‘  #通過IP為192.168.29.111的Trackers將123.png文件上傳，並保存至Domain為imgs，Class為png的空間中，並重命名為111.png
~]# mogfileinfo --trackers=192.168.29.111 --domain=imgs --class=png --key=‘/111.png‘ #查看Domain為imgs，Class為png中key為111.png的文件的存儲情況。

　　至此，Mogilefs分布式儲存集群就搭建完成了，但若想要使客戶端能與之通信，就需要在接口上進行編程，這樣就很麻煩了，好在我們能用Nginx做反代進行通信。下面來演示Nginx反代Mogilefs的步驟。

5.Nginx反代Mogilefs

1.打開n2，n3的 mogilefsd 服務，將3個節點全部設置為Trackers(保證配置文件與n1相同)：

~]# service mogilefsd start

2.在n4節點編譯安裝Nginx

　　安裝依賴包：

~]# yum install gcc gcc-c++ perl pcre-devel openssl openssl-devel

　　下載Nginx編譯安裝包 nginx-1.10.3.tar.gz 與Nginx_Mogilefs模塊 nginx_mogilefs_module-1.0.4.tar.gz 並展開：

~]# ls
nginx-1.10.3         nginx_mogilefs_module-1.0.4
nginx-1.10.3.tar.gz  nginx_mogilefs_module-1.0.4.tar.gz

~]# cd nginx-1.10.3
./configure >   --prefix=/usr >   --sbin-path=/usr/sbin/nginx >   --conf-path=/etc/nginx/nginx.conf >   --error-log-path=/var/log/nginx/error.log >   --http-log-path=/var/log/nginx/access.log >   --pid-path=/var/run/nginx/nginx.pid  >   --lock-path=/var/lock/nginx.lock >   --user=nginx >   --group=nginx >   --with-http_ssl_module >   --with-http_flv_module >   --with-http_stub_status_module >   --with-http_gzip_static_module >   --http-client-body-temp-path=/var/tmp/nginx/client/ >   --http-proxy-temp-path=/var/tmp/nginx/proxy/ >   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ >   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi >   --http-scgi-temp-path=/var/tmp/nginx/scgi >   --with-pcre >   --with-debug >   --add-module=../nginx_mogilefs_module-1.0.4/ #一定記得添加Mogilefs模塊所在的路徑，不可少。

~]# make & make install

　　添加nginx用戶並啟動nginx：

~]# useradd -s /sbin/nologin -M nginx
~]# /usr/sbin/nginx

3.配置Nginx

　　單Trackers示例：

 1 location /imgs/ {
 2             mogilefs_tracker 192.168.29.111:7001; #單Trackers示例
 3             mogilefs_domain imgs; #指定Domain
 4             mogilefs_class png jpg; #指定Class
 5 
 6             mogilefs_pass { #傳輸相關配置
 7                 proxy_pass $mogilefs_path;
 8                 proxy_hide_header Content-Type;
 9                 proxy_buffering off;
10             }
11         }

　　多Trackers示例：

在nginx配置中的http配置段添加調度模塊：

1 upstream mogsvr {
2         server 192.168.29.111:7001;
3         server 192.168.29.112:7001;
4         server 192.168.29.113:7001;
5         }

在nginx配置中的server配置段添：

 1 location /imgs/ {
 2                 mogilefs_tracker mogsvr;
 3             mogilefs_domain imgs;
 4             mogilefs_class png jpg;
 5 
 6             mogilefs_pass {
 7                 proxy_pass $mogilefs_path;
 8                 proxy_hide_header Content-Type;
 9                 proxy_buffering off;
10             }
11         }

　　重新啟動nginx，並通過nginx訪問之前上傳的圖片：

總結：

　　在上傳文件時遇到一個錯誤提示MogileFS::Backend: couldn‘t connect to mogilefsdbackend at /usr/local/share/perl/5.8.4/Client.pm line 282，這是由於mogilefsd服務於MySQL無法連接造成的，檢查它們之間的連接情況就能發現錯誤所在。

Nginx反代Mogilefs分布式儲存示例