Nginx反代MogileFS叢集
上一篇博文我們主要聊了下分散式檔案系統MogileFS的元件以及部署使用，回顧請參考https://www.cnblogs.com/qiuhom-1874/p/13677279.html；今天我們主要來聊一下MogileFS的客戶端代理，用nginx做反代的相關配置；
我們知道mogilefs的tracker和客戶端通訊使用的http協議，客戶端和storage通訊也是使用http協議；客戶端向tracker傳送請求獲取檔案的內容，tracker收到請求後，去資料庫中查，把查到的結果返回給客戶端，然後客戶端再通過tracker返回的結果去請求對應的儲存節點，通過這樣一個過程客戶端就拿到對應檔案的內容；從上面描述的過程來看，要想使用mogilefs得有一款智慧的客戶端，它必須滿足能夠理解到tracker返回的內容，然後再向儲存節點請求對應的檔案；其次這個客戶端還能通過http協議同tracker和storage互動，也就說我們需要一款能夠理解tracker返回的內容的http協議的反代伺服器；nginx作為http的方向代理伺服器是沒有問題，問題在它還需要能夠理解到tracker返回的內容，然後去storage上請求對應的檔案；我們知道nginx是一款高度模組化的軟體，需要什麼功能，可以通過模組的方式加入到nginx裡；這樣一來用nginx來做這個方向代理是最佳人選；預設nginx是不支援反代mogilefs叢集，所以我們需要手動去找第三方模組，通過編譯的方式讓它支援反代mogilefs叢集；
下載nignx原始碼包和支援反代mogilefs叢集的第三方模組
提示：下載nginx的原始碼包我們直接上官網下載就好；第三方模組原始碼包去https://www.nginx.com/resources/wiki/modules/找；對於nignx支援mogilefs叢集的文件和包下載可以去這個地址上檢視和下載http://www.grid.net.ru/nginx/mogilefs.en.html；
安裝基本的編譯環境包組
[root@node04 ~]# yum groupinstall "Development Tools" -y Loaded plugins: fastestmirror Setting up Group Process Loading mirror speeds from cached hostfile * base: mirrors.aliyun.com * extras: mirrors.aliyun.com * updates: mirrors.aliyun.com base/group_gz | 242 kB 00:00 epel/group_gz | 74 kB 00:00 Package gcc-4.4.7-23.el6.x86_64 already installed and latest version Package 1:make-3.81-23.el6.x86_64 already installed and latest version Package 1:pkgconfig-0.23-9.1.el6.x86_64 already installed and latest version Package gcc-c++-4.4.7-23.el6.x86_64 already installed and latest version Resolving Dependencies --> Running transaction check ---> Package autoconf.noarch 0:2.63-5.1.el6 will be installed ---> Package automake.noarch 0:1.11.1-4.el6 will be installed ---> Package binutils.x86_64 0:2.20.51.0.2-5.46.el6 will be updated ---> Package binutils.x86_64 0:2.20.51.0.2-5.48.el6_10.1 will be an update ---> Package bison.x86_64 0:2.4.1-5.el6 will be installed ……省略部分內容…… Installed: autoconf.noarch 0:2.63-5.1.el6 automake.noarch 0:1.11.1-4.el6 bison.x86_64 0:2.4.1-5.el6 byacc.x86_64 0:1.9.20070509-7.el6 cscope.x86_64 0:15.6-7.el6 ctags.x86_64 0:5.8-2.el6 cvs.x86_64 0:1.11.23-16.el6 diffstat.x86_64 0:1.51-2.el6 doxygen.x86_64 1:1.6.1-6.el6 elfutils.x86_64 0:0.164-2.el6 flex.x86_64 0:2.5.35-9.el6 gcc-gfortran.x86_64 0:4.4.7-23.el6 gettext.x86_64 0:0.17-18.el6 git.x86_64 0:1.7.1-10.el6_10 indent.x86_64 0:2.2.10-7.el6 intltool.noarch 0:0.41.0-1.1.el6 libtool.x86_64 0:2.2.6-15.5.el6 patch.x86_64 0:2.6-8.el6_9 patchutils.x86_64 0:0.3.1-3.1.el6 rcs.x86_64 0:5.7-37.el6 redhat-rpm-config.noarch 0:9.0.3-51.el6.centos rpm-build.x86_64 0:4.8.0-59.el6 subversion.x86_64 0:1.6.11-15.el6_7 swig.x86_64 0:1.3.40-6.el6 systemtap.x86_64 0:2.9-9.el6 Dependency Installed: alsa-lib.x86_64 0:1.1.0-4.el6 apr.x86_64 0:1.3.9-5.el6_9.1 apr-util.x86_64 0:1.3.9-3.el6_0.1 atk.x86_64 0:1.30.0-1.el6 avahi-libs.x86_64 0:0.6.25-17.el6 cairo.x86_64 0:1.8.8-6.el6_6 cups-libs.x86_64 1:1.4.2-81.el6_10 fontconfig.x86_64 0:2.8.0-5.el6 freetype.x86_64 0:2.3.11-19.el6_10 gdb.x86_64 0:7.2-92.el6 gdk-pixbuf2.x86_64 0:2.24.1-6.el6_7 gettext-devel.x86_64 0:0.17-18.el6 gettext-libs.x86_64 0:0.17-18.el6 gnutls.x86_64 0:2.12.23-22.el6 gtk2.x86_64 0:2.24.23-9.el6 hicolor-icon-theme.noarch 0:0.11-1.1.el6 jasper-libs.x86_64 0:1.900.1-22.el6 kernel-devel.x86_64 0:2.6.32-754.33.1.el6 libICE.x86_64 0:1.0.6-1.el6 libSM.x86_64 0:1.2.1-2.el6 libX11.x86_64 0:1.6.4-3.el6 libX11-common.noarch 0:1.6.4-3.el6 libXau.x86_64 0:1.0.6-4.el6 libXcomposite.x86_64 0:0.4.3-4.el6 libXcursor.x86_64 0:1.1.14-2.1.el6 libXdamage.x86_64 0:1.1.3-4.el6 libXext.x86_64 0:1.3.3-1.el6 libXfixes.x86_64 0:5.0.3-1.el6 libXft.x86_64 0:2.3.2-1.el6 libXi.x86_64 0:1.7.8-1.el6 libXinerama.x86_64 0:1.1.3-2.1.el6 libXrandr.x86_64 0:1.5.1-1.el6 libXrender.x86_64 0:0.9.10-1.el6 libXtst.x86_64 0:1.2.3-1.el6 libart_lgpl.x86_64 0:2.3.20-5.1.el6 libgcj.x86_64 0:4.4.7-23.el6 libgfortran.x86_64 0:4.4.7-23.el6 libjpeg-turbo.x86_64 0:1.2.1-3.el6_5 libpng.x86_64 2:1.2.49-2.el6_7 libproxy.x86_64 0:0.3.0-10.el6 libproxy-bin.x86_64 0:0.3.0-10.el6 libproxy-python.x86_64 0:0.3.0-10.el6 libthai.x86_64 0:0.1.12-3.el6 libtiff.x86_64 0:3.9.4-21.el6_8 libxcb.x86_64 0:1.12-4.el6 mailcap.noarch 0:2.1.31-2.el6 neon.x86_64 0:0.29.3-3.el6_4 pakchois.x86_64 0:0.4-3.2.el6 pango.x86_64 0:1.28.1-11.el6 perl-Compress-Raw-Zlib.x86_64 1:2.021-144.el6 perl-Compress-Zlib.x86_64 0:2.021-144.el6 perl-Error.noarch 1:0.17015-4.el6 perl-Git.noarch 0:1.7.1-10.el6_10 perl-HTML-Parser.x86_64 0:3.64-2.el6 perl-HTML-Tagset.noarch 0:3.20-4.el6 perl-IO-Compress-Base.x86_64 0:2.021-144.el6 perl-IO-Compress-Zlib.x86_64 0:2.021-144.el6 perl-URI.noarch 0:1.40-2.el6 perl-XML-Parser.x86_64 0:2.36-7.el6 perl-libwww-perl.noarch 0:5.833-5.el6 pixman.x86_64 0:0.32.8-1.el6 rsync.x86_64 0:3.0.6-12.el6 systemtap-client.x86_64 0:2.9-9.el6 systemtap-devel.x86_64 0:2.9-9.el6 systemtap-runtime.x86_64 0:2.9-9.el6 xz.x86_64 0:4.999.9-0.5.beta.20091007git.el6 xz-lzma-compat.x86_64 0:4.999.9-0.5.beta.20091007git.el6 Updated: binutils.x86_64 0:2.20.51.0.2-5.48.el6_10.1 Dependency Updated: rpm.x86_64 0:4.8.0-59.el6 rpm-libs.x86_64 0:4.8.0-59.el6 rpm-python.x86_64 0:4.8.0-59.el6 Complete! [root@node04 ~]#
解壓nginx源包和第三方模組包，並進入到nginx原始碼目錄下
建立nginx使用者
預編譯，檢查編譯環境
./configure \ --prefix=/usr/share/nginx \ --sbin-path=/usr/sbin/nginx \ --modules-path=/usr/lib64/nginx/modules \ --conf-path=/etc/nginx/nginx.conf \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --http-client-body-temp-path=/var/lib/nginx/tmp/client_body \ --http-proxy-temp-path=/var/lib/nginx/tmp/proxy \ --http-fastcgi-temp-path=/var/lib/nginx/tmp/fastcgi \ --http-uwsgi-temp-path=/var/lib/nginx/tmp/uwsgi \ --http-scgi-temp-path=/var/lib/nginx/tmp/scgi \ --pid-path=/var/run/nginx.pid \ --lock-path=/var/lock/subsys/nginx \ --user=nginx \ --group=nginx \ --with-file-aio \ --with-ipv6 \ --with-http_ssl_module \ --with-http_v2_module \ --with-http_realip_module \ --with-http_addition_module \ --with-http_xslt_module=dynamic \ --with-http_image_filter_module=dynamic \ --with-http_geoip_module=dynamic \ --with-http_sub_module \ --with-http_dav_module \ --with-http_flv_module \ --with-http_mp4_module \ --with-http_gunzip_module \ --with-http_gzip_static_module \ --with-http_random_index_module \ --with-http_secure_link_module \ --with-http_degradation_module \ --with-http_slice_module \ --with-http_stub_status_module \ --with-http_perl_module=dynamic \ --with-mail=dynamic \ --with-mail_ssl_module \ --with-pcre --with-pcre-jit \ --with-stream=dynamic \ --with-stream_ssl_module \ --with-debug \ --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic' \ --with-ld-opt=' -Wl,-E' \ --add-module=../nginx_mogilefs_module-1.0.4
提示：我們在最後用--add-module選項來指定要編譯的第三方模組的原始碼路徑；這樣就可以把我們下載的第三方模組編譯到nginx中去，讓其支援指定的功能；
提示：出現上面的錯誤，是因為系統環境沒有libxml2或libxslt相關包；
解決辦法安裝對應的devel包即可；
yum install -y libxslt-devel
再次預編譯，檢查編譯環境
解決辦法
yum install -y gd-devel
解決辦法
yum install -y perl-ExtUtils-Embed
解決辦法
yum install -y geoip-devel
提示：到此預編譯檢查環境就沒有問題了；
編譯和安裝
make -j 4 && make install
提示：-j是用於指定同時多少執行緒一起編譯；這樣編譯要快一點；
提示：最後能夠看到上面內容，就表示nginx編譯安裝就完成了；這裡提醒一下，在centos7上編譯安裝nginx和支援反代mogilefs的第三方模組，在預編譯的時候沒有問題，編譯時總是編譯不過，總是出現這樣的錯誤error: variable ‘pclcf’ set but not used [-Werror=unused-but-set-variable]；在網上查了一圈，有的說把Makefile中的-werror選項去掉，去掉是能夠編譯過，但是後面配置檔案檢查通過不過，nginx啟動不了，會出現段錯誤；我個人估計是centos7系統上的perl環境要稍微新一些，對mogilefs的支援不是很好，所以建議使用mogilefs都跑在centos6上比較好一點；
提供配置檔案
完整的配置檔案內容
[root@node04 nginx]# cat /etc/nginx/nginx.conf
#user nobody;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
upstream mogilefs_trackers {
server 192.168.0.41:7001;
server 192.168.0.42:7001;
}
server {
listen 80;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
root html;
index index.html index.htm;
}
location /files {
mogilefs_tracker mogilefs_trackers;
mogilefs_domain files;
mogilefs_class default;
mogilefs_methods GET PUT DELETE;
mogilefs_pass {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
expires 1h;
}
location /images {
mogilefs_tracker mogilefs_trackers;
mogilefs_domain images;
mogilefs_class default;
mogilefs_methods GET PUT DELETE;
mogilefs_pass {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
expires 1h;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
# proxy the PHP scripts to Apache listening on 127.0.0.1:80
#
#location ~ \.php$ {
# proxy_pass http://127.0.0.1;
#}
# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
#
#location ~ \.php$ {
# root html;
# fastcgi_pass 127.0.0.1:9000;
# fastcgi_index index.php;
# fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
# include fastcgi_params;
#}
# deny access to .htaccess files, if Apache's document root
# concurs with nginx's one
#
#location ~ /\.ht {
# deny all;
#}
}
# another virtual host using mix of IP-, name-, and port-based configuration
#
#server {
# listen 8000;
# listen somename:8080;
# server_name somename alias another.alias;
# location / {
# root html;
# index index.html index.htm;
# }
#}
# HTTPS server
#
#server {
# listen 443 ssl;
# server_name localhost;
# ssl_certificate cert.pem;
# ssl_certificate_key cert.key;
# ssl_session_cache shared:SSL:1m;
# ssl_session_timeout 5m;
# ssl_ciphers HIGH:!aNULL:!MD5;
# ssl_prefer_server_ciphers on;
# location / {
# root html;
# index index.html index.htm;
# }
#}
}
[root@node04 nginx]#
View Code
提示：upstream是把多個tracker定義成一個組，讓使用者的請求排程到這個組上；後面的location 根據業務的規劃來定義location的名稱，通常用mogilefs中的domain來做location比較好；mogilefs_tracker用於指定tracker的地址或伺服器組；mogilefs_domain用於指定mogilefs中的域，也就是檔案的名稱空間；mogilefs_class用於指定class的名稱；mogilefs_methods用於指定支援的方法，如果你只允許對應location為只讀，我們在這裡指定一個get方法就可以；如果還需要上傳和刪除需要把put和delete方法加上；通常加上put和delete方法後，為了安全建議做訪問限制；後面的mogilefs_pass這個配置段是用於配置代理mogilefs的配置，其中$mogilefs_path是一個內建的變數；其作用是變數$mogilefs_path包含儲存節點上檔案的絕對URL。fetch塊建立一個名為/mogilefs_fetch_XXXXXXXX的隱藏內部位置，在跟蹤器成功響應後將在其中執行重定向。後面的proxy_hide_header用於指定代理時要隱藏的頭部；proxy_buffering用於指定是否啟用代理buffer；更多配置指令的說明請到官網http://www.grid.net.ru/nginx/mogilefs.en.html；
檢查配置檔案語法
這裡提示我們沒有client_body這個目錄
建立client_body目錄後再次檢查配置檔案語法是否有誤
提示：這裡告訴我們配置檔案語法ok，這意味著nginx支援我們編寫的配置檔案；
啟動nginx
好了，到此ngxin反代mogilefs叢集的安裝配置就完成了
驗證：在mogilefs的tracker上使用mogupload上傳一個檔案，然後用別的機器訪問nginx，看看對應的檔案內容是否能夠訪問到？
用瀏覽器訪問對應檔案的key看看是否能夠訪問到我們上傳到檔案呢？
提示：可以看到在客戶端直接訪問nginx所在主機監聽的地址和埠+指定檔案的domain+檔案的key就能夠訪問到對應檔案的內