1. 程式人生 > >FastDFS 檔案系統搭建

FastDFS 檔案系統搭建

FastDFS+Nginx實現檔案伺服器

FastDFS下載安裝

下載

本教程下載:FastDFS_v5.08.tar.gz

一、安裝FastDFS環境

操作環境:CentOS7 X64,以下操作都是單機環境。

我把所有的安裝包下載到/softpackages/下,解壓到當前目錄。

先做一件事,修改hosts,將檔案伺服器的ip與域名對映(單機TrackerServer環境),因為後面很多配置裡面都需要去配置伺服器地址,ip變了,就只需要修改hosts即可。

# vim /etc/hosts 增加如下一行,這是我的IP 192.168.51.128 file.ljzsg.com 如果要本機訪問虛擬機器,在C:\Windows\System32\drivers\etc\hosts中同樣增加一行

1、下載安裝 libfastcommon

libfastcommon是從 FastDFS 和 FastDHT 中提取出來的公共 C 函式庫,基礎環境,安裝即可 。

① 下載libfastcommon

# wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz

② 解壓

# tar -zxvf V1.0.7.tar.gz # cd libfastcommon-1.0.7

③ 編譯、安裝

# ./make.sh # ./make.sh install

④ libfastcommon.so 安裝到了/usr/lib64/libfastcommon.so,但是FastDFS主程式設定的lib目錄是/usr/local/lib,所以需要建立軟連結。

# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so # ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so # ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so # ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

2、下載安裝FastDFS

① 下載FastDFS

# wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz

② 解壓

# tar -zxvf V5.05.tar.gz # cd fastdfs-5.05

③ 編譯、安裝

# ./make.sh # ./make.sh install

④ 預設安裝方式安裝後的相應檔案與目錄

  A、服務指令碼:

/etc/init.d/fdfs_storaged /etc/init.d/fdfs_tracker

  B、配置檔案(這三個是作者給的樣例配置檔案) :

/etc/fdfs/client.conf.sample /etc/fdfs/storage.conf.sample /etc/fdfs/tracker.conf.sample

  C、命令工具在 /usr/bin/ 目錄下:

複製程式碼

複製程式碼

fdfs_appender_test fdfs_appender_test1 fdfs_append_file fdfs_crc32 fdfs_delete_file fdfs_download_file fdfs_file_info fdfs_monitor fdfs_storaged fdfs_test fdfs_test1 fdfs_trackerd fdfs_upload_appender fdfs_upload_file stop.sh restart.sh

複製程式碼

複製程式碼

⑤ FastDFS 服務指令碼設定的 bin 目錄是 /usr/local/bin, 但實際命令安裝在 /usr/bin/ 下。

  兩種方式:

  》 一是修改FastDFS 服務指令碼中相應的命令路徑,也就是把 /etc/init.d/fdfs_storaged 和 /etc/init.d/fdfs_tracker 兩個指令碼中的 /usr/local/bin 修改成 /usr/bin。

    # vim fdfs_trackerd

    使用查詢替換命令進統一修改:%s+/usr/local/bin+/usr/bin

    # vim fdfs_storaged

    使用查詢替換命令進統一修改:%s+/usr/local/bin+/usr/bin

  》 二是建立 /usr/bin 到 /usr/local/bin 的軟連結,我是用這種方式。  

# ln -s /usr/bin/fdfs_trackerd /usr/local/bin # ln -s /usr/bin/fdfs_storaged /usr/local/bin # ln -s /usr/bin/stop.sh /usr/local/bin # ln -s /usr/bin/restart.sh /usr/local/bin

3、配置FastDFS跟蹤器(Tracker)

① 進入 /etc/fdfs,複製 FastDFS 跟蹤器樣例配置檔案 tracker.conf.sample,並重命名為 tracker.conf。

# cd /etc/fdfs # cp tracker.conf.sample tracker.conf # vim tracker.conf

② 編輯tracker.conf ,標紅的需要修改下,其它的預設即可。

複製程式碼

複製程式碼

# 配置檔案是否不生效,false 為生效 disabled=false

# 提供服務的埠 port=22122

# Tracker 資料和日誌目錄地址(根目錄必須存在,子目錄會自動建立) base_path=/ljzsg/fastdfs/tracker

# HTTP 服務埠 http.server_port=80

複製程式碼

複製程式碼

③ 建立tracker基礎資料目錄,即base_path對應的目錄

# mkdir -p /ljzsg/fastdfs/tracker

④ 防火牆中開啟跟蹤埠(預設的22122)

複製程式碼

複製程式碼

# vim /etc/sysconfig/iptables

新增如下埠行: -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

重啟防火牆: # service iptables restart

複製程式碼

複製程式碼

⑤ 啟動Tracker

初次成功啟動,會在 /ljzsg/fdfsdfs/tracker/ (配置的base_path)下建立 data、logs 兩個目錄。

可以用這種方式啟動 # /etc/init.d/fdfs_trackerd start 也可以用這種方式啟動,前提是上面建立了軟連結,後面都用這種方式 # service fdfs_trackerd start

檢視 FastDFS Tracker 是否已成功啟動 ,22122埠正在被監聽,則算是Tracker服務安裝成功。

# netstat -unltp|grep fdfs

關閉Tracker命令:

# service fdfs_trackerd stop

⑥ 設定Tracker開機啟動

# chkconfig fdfs_trackerd on

或者:

# vim /etc/rc.d/rc.local

加入配置:

/etc/init.d/fdfs_trackerd start

⑦ tracker server 目錄及檔案結構

Tracker服務啟動成功後,會在base_path下建立data、logs兩個目錄。目錄結構如下:

${base_path} |__data | |__storage_groups.dat:儲存分組資訊 | |__storage_servers.dat:儲存伺服器列表 |__logs | |__trackerd.log: tracker server 日誌檔案

4、配置 FastDFS 儲存 (Storage)

① 進入 /etc/fdfs 目錄,複製 FastDFS 儲存器樣例配置檔案 storage.conf.sample,並重命名為 storage.conf

# cd /etc/fdfs # cp storage.conf.sample storage.conf

# vim storage.conf

② 編輯storage.conf

標紅的需要修改,其它的預設即可。

複製程式碼

複製程式碼

# 配置檔案是否不生效,false 為生效 disabled=false # 指定此 storage server 所在 組(卷) group_name=group1 # storage server 服務埠 port=23000 # 心跳間隔時間,單位為秒 (這裡是指主動向 tracker server 傳送心跳) heart_beat_interval=30 # Storage 資料和日誌目錄地址(根目錄必須存在,子目錄會自動生成) base_path=/ljzsg/fastdfs/storage # 存放檔案時 storage server 支援多個路徑。這裡配置存放檔案的基路徑數目,通常只配一個目錄。 store_path_count=1 # 逐一配置 store_path_count 個路徑,索引號基於 0。 # 如果不配置 store_path0,那它就和 base_path 對應的路徑一樣。 store_path0=/ljzsg/fastdfs/file # FastDFS 儲存檔案時,採用了兩級目錄。這裡配置存放檔案的目錄個數。 # 如果本引數只為 N(如: 256),那麼 storage server 在初次執行時,會在 store_path 下自動建立 N * N 個存放檔案的子目錄。 subdir_count_per_path=256 # tracker_server 的列表 ,會主動連線 tracker_server # 有多個 tracker server 時,每個 tracker server 寫一行 tracker_server=file.ljzsg.com:22122

# 允許系統同步的時間段 (預設是全天) 。一般用於避免高峰同步產生一些問題而設定。

sync_start_time=00:00

sync_end_time=23:59

# 訪問埠

http.server_port=80

複製程式碼

複製程式碼

③ 建立Storage基礎資料目錄,對應base_path目錄

# mkdir -p /ljzsg/fastdfs/storage # 這是配置的store_path0路徑 # mkdir -p /ljzsg/fastdfs/file

④ 防火牆中開啟儲存器埠(預設的 23000)

複製程式碼

複製程式碼

# vim /etc/sysconfig/iptables 新增如下埠行: -A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT 重啟防火牆: # service iptables restart

複製程式碼

複製程式碼

⑤ 啟動 Storage

啟動Storage前確保Tracker是啟動的。初次啟動成功,會在 /ljzsg/fastdfs/storage 目錄下建立 data、 logs 兩個目錄。

可以用這種方式啟動 # /etc/init.d/fdfs_storaged start 也可以用這種方式,後面都用這種 # service fdfs_storaged start

檢視 Storage 是否成功啟動,23000 埠正在被監聽,就算 Storage 啟動成功。

# netstat -unltp|grep fdfs

關閉Storage命令:

# service fdfs_storaged stop

檢視Storage和Tracker是否在通訊:

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

⑥ 設定 Storage 開機啟動

# chkconfig fdfs_storaged on

或者:

# vim /etc/rc.d/rc.local

加入配置:

/etc/init.d/fdfs_storaged start

⑦ Storage 目錄

同 Tracker,Storage 啟動成功後,在base_path 下建立了data、logs目錄,記錄著 Storage Server 的資訊。

在 store_path0 目錄下,建立了N*N個子目錄:

5、檔案上傳測試

① 修改 Tracker 伺服器中的客戶端配置檔案

# cd /etc/fdfs # cp client.conf.sample client.conf # vim client.conf

修改如下配置即可,其它預設。

# Client 的資料和日誌目錄 base_path=/ljzsg/fastdfs/client # Tracker埠 tracker_server=file.ljzsg.com:22122

② 上傳測試

在linux內部執行如下命令上傳 namei.jpeg 圖片

# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf namei.jpeg

上傳成功後返回檔案ID號:group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg

返回的檔案ID由group、儲存目錄、兩級子目錄、fileid、檔案字尾名(由客戶端指定,主要用於區分檔案型別)拼接而成。

回到頂部

三、安裝Nginx

上面將檔案上傳成功了,但我們無法下載。因此安裝Nginx作為伺服器以支援Http方式訪問檔案。同時,後面安裝FastDFS的Nginx模組也需要Nginx環境。

Nginx只需要安裝到StorageServer所在的伺服器即可,用於訪問檔案。我這裡由於是單機,TrackerServer和StorageServer在一臺伺服器上。

1、安裝nginx所需環境  

① gcc 安裝

# yum install gcc-c++

② PCRE pcre-devel 安裝

# yum install -y pcre pcre-devel

③ zlib 安裝

# yum install -y zlib zlib-devel

④ OpenSSL 安裝

# yum install -y openssl openssl-devel

2、安裝Nginx

① 下載nginx

# wget -c https://nginx.org/download/nginx-1.12.1.tar.gz

② 解壓

# tar -zxvf nginx-1.12.1.tar.gz # cd nginx-1.12.1

③ 使用預設配置

# ./configure

④ 編譯、安裝

# make # make install

⑤ 啟動nginx

複製程式碼

複製程式碼

# cd /usr/local/nginx/sbin/ # ./nginx 其它命令 # ./nginx -s stop # ./nginx -s quit # ./nginx -s reload

複製程式碼

複製程式碼

⑥ 設定開機啟動

複製程式碼

複製程式碼

# vim /etc/rc.local 新增一行: /usr/local/nginx/sbin/nginx

# 設定執行許可權

# chmod 755 rc.local

複製程式碼

複製程式碼

⑦ 檢視nginx的版本及模組

/usr/local/nginx/sbin/nginx -V

⑧ 防火牆中開啟Nginx埠(預設的 80)

新增後就能在本機使用80埠訪問了。

複製程式碼

複製程式碼

# vim /etc/sysconfig/iptables 新增如下埠行: -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT 重啟防火牆: # service iptables restart

複製程式碼

複製程式碼

3、訪問檔案

簡單的測試訪問檔案

① 修改nginx.conf

複製程式碼

複製程式碼

# vim /usr/local/nginx/conf/nginx.conf 新增如下行,將 /group1/M00 對映到 /ljzsg/fastdfs/file/data location /group1/M00 { alias /ljzsg/fastdfs/file/data; }

# 重啟nginx

# /usr/local/nginx/sbin/nginx -s reload

複製程式碼

複製程式碼

② 在瀏覽器訪問之前上傳的圖片、成功。