fastdfs(https://www.jianshu.com/p/1c71ae024e5e)
參考
官方網站：https://github.com/happyfish100/
配置文件：https://github.com/happyfish100/fastdfs/wiki/
參考資料：https://www.oschina.net/question/tag/fastdfs
Java客戶端：https://github.com/happyfish100/fastdfs-client-java
術語
fastDFS：
FastDFS是一款開源的輕量級分散式檔案系統純C實現，支援Linux、FreeBSD等UNIX系統類google FS，不是通用的檔案系統，只能通過專有API訪問，目前提供了C、Java和PHP API為網際網路應用量身定做，解決大容量檔案儲存問題，追求高效能和高擴充套件性FastDFS可以看做是基於檔案的key value pair儲存系統，稱作分散式檔案儲存服務更為合適。
------ 來自官網介紹
tracker-server:
跟蹤伺服器， 主要做排程工作， 起負載均衡的作用。 在記憶體中記錄叢集中所有儲存組和儲存伺服器的狀態資訊， 是客戶端和資料伺服器互動的樞紐。 相比GFS中的master更為精簡， 不記錄檔案索引資訊， 佔用的記憶體量很少。
storage-server:
儲存伺服器（ 又稱：儲存節點或資料伺服器） ， 檔案和檔案屬性（ metadata） 都儲存到儲存伺服器上。 Storage server直接利用OS的檔案系統呼叫管理檔案。
group:
組， 也可稱為卷。 同組內伺服器上的檔案是完全相同的 ，同一組內的storage server之間是對等的， 檔案上傳、 刪除等操作可以在任意一臺storage server上進行 。
meta data:
meta data：檔案相關屬性，鍵值對（ Key Value Pair） 方式，如：width=1024,heigth=768 。
單機檔案系統的對比
| 檔案系統 | 高可用 | 擴充套件 | 部署複雜程度 | 效能 |
|---|---|---|---|---|
| 單機檔案系統 | 低，依賴於單機伺服器，只要伺服器崩潰，完全不可用。 | 低，要擴容只能停機增加硬碟。 | 低 | 當檔案數量多到一定的程度，磁碟IO定址操作將會成為瓶頸 |
| 分散式檔案系統 | 高，一個group內的伺服器崩潰後，group內的其他storage將接管服務。 | 高，可以不停機增加group機器。 | 高，部署較複雜 | 高，通過叢集或者分散式的方式分擔伺服器的壓力。 |
其他檔案系統的對比
| 指標 | 適合型別 | 檔案分佈 | 系統性能 | 複雜度 | FUSE | POSIX | 備份機制 | 通訊協議介面 | 社群支援 | 開發語言 |
|---|---|---|---|---|---|---|---|---|---|---|
| FastDFS | 4KB~500MB | 小檔案合併儲存不分片處理 | 很高 | 簡單 | 不支援 | 不支援 | 組內冗餘備份 | Api HTTP | 國內使用者群 | C語言 |
| TFS | 所有檔案 | 小檔案合併，以block組織分片 | 複雜 | 不支援 | Block儲存多份,主輔災備 | API http | 少 | C++ | ||
| MFS | 大於64K | 分片儲存 | Master佔記憶體多 | 支援 | 支援 | 多點備份動態冗餘 | 使用fuse掛在 | 較多 | Perl | |
| HDFS | 大檔案 | 大檔案分片分塊儲存 | 簡單 | 支援 | 支援 | 多副本 | 原生api | 較多 | Java | |
| Ceph | 物件檔案塊 | OSD一主多從 | 複雜 | 支援 | 支援 | 多副本 | 原生api | 較少 | C++ | |
| MogileFS | 海量小圖片 | 高 | 複雜 | 可以支援 | 不支援 | 動態冗餘 | 原生api | 文件少 | Perl | |
| ClusterFS | 大檔案 | 簡單 | 支援 | 支援 | 多 | C |
適用場景：
特別適合以中小檔案（ 建議範圍： 4KB 到 500MB ） 為載體的線上服務， 如相簿網站、 視訊網站等等。
部署結構
fastdfs檔案系統.png
適合本公司的最小化部署圖
fastdfs檔案系統1 (1).png
192.168.1.177安裝fastdfs的tracker節點，以及nginx反向代理伺服器用於下載服務。
192.168.1.188，192.168.1.189安裝fastdfs的storage節點，預設分一組，一組內兩臺機器互為備份.
注意：為了做到高可用，一個group建議分為兩臺以上的機器。
tracker安裝（192.168.1.177）
-
安裝 libfastcommon、perl依賴，下載libfastcommon-master.zip，上傳到伺服器的/usr目錄下。
https://github.com/happyfish100/libfastcommon[[email protected] usr]# unzip libfastcommon-master.zip [[email protected] usr]# cd libfastcommon-master [[email protected] usr]# ./make.sh [[email protected] usr]# ./make.sh install [[email protected] usr]# yum install perl -
編譯安裝fastdfs
[[email protected] usr] # tar -zxvf fastdfs-5.08.tar.gz [[email protected] usr] # cd fastdfs-5.08 [[email protected] fastdfs-5.08] # ./make.sh [[email protected] fastdfs-5.08] # ./make.sh install [[email protected] fastdfs-5.08]# ./make.sh install mkdir -p /usr/bin mkdir -p /etc/fdfs cp -f fdfs_trackerd /usr/bin if [ ! -f /etc/fdfs/tracker.conf.sample ]; then cp -f ../conf/tracker.conf /etc/fdfs/tracker.conf.sample; fi mkdir -p /usr/bin mkdir -p /etc/fdfs cp -f fdfs_storaged /usr/bin if [ ! -f /etc/fdfs/storage.conf.sample ]; then cp -f ../conf/storage.conf /etc/fdfs/storage.conf.sample; fi mkdir -p /usr/bin mkdir -p /etc/fdfs mkdir -p /usr/lib64 mkdir -p /usr/lib cp -f fdfs_monitor fdfs_test fdfs_test1 fdfs_crc32 fdfs_upload_file fdfs_download_file fdfs_delete_file fdfs_file_info fdfs_appender_test fdfs_appender_test1 fdfs_append_file fdfs_upload_appender /usr/bin if [ 0 -eq 1 ]; then cp -f libfdfsclient.a /usr/lib64; cp -f libfdfsclient.a /usr/lib/;fi if [ 1 -eq 1 ]; then cp -f libfdfsclient.so /usr/lib64; cp -f libfdfsclient.so /usr/lib/;fi mkdir -p /usr/include/fastdfs cp -f ../common/fdfs_define.h ../common/fdfs_global.h ../common/mime_file_parser.h ../common/fdfs_http_shared.h ../tracker/tracker_types.h ../tracker/tracker_proto.h ../tracker/fdfs_shared_func.h ../storage/trunk_mgr/trunk_shared.h tracker_client.h storage_client.h storage_client1.h client_func.h client_global.h fdfs_client.h /usr/include/fastdfs if [ ! -f /etc/fdfs/client.conf.sample ]; then cp -f ../conf/client.conf /etc/fdfs/client.conf.sample; fi
如出現以上資訊，說明安裝成功。
fastDFS命令目錄：/usr/bin
fastDFS配置檔案目錄:/etc/fdfs
-
建立fastdfs資料目錄
mkdir -pv /data/fastdfs/tracker -
修改tracker.conf中的 base_path=/data/fastdfs/tracker，即剛才配置的資料檔案目錄
cp etc/fdfs/tracker.conf.sample etc/fdfs/tracker.conf vi etc/fdfs/tracker.conf -
啟動FASTDFS
cd /usr/bin fdfs_trackerd /etc/fdfs/tracker.conf restart -
驗證，預設埠是22122
[[email protected] bin]# netstat -antp|grep trackerd tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 31046/fdfs_trackerd
storage安裝（192.168.1.188，192.168.1.189）
storage的安裝與tracker安裝類似，首先編譯安裝fastdfs，然後修改配置檔案。
-
建立配置檔案
cp etc/fdfs/storage.conf.sample etc/fdfs/storage.conf vi etc/fdfs/storage.conf -
修改tracker.conf中的
disabled=false #啟用配置檔案 group_name=group1 #組名，根據實際情況修改 port=23000 #設定 storage 的埠號 base_path=/data/fastdfs/storage #設定 storage 的日誌目錄（需預先建立） store_path_count=1 #儲存路徑個數，需要和 store_path 個數匹配 store_path0=/data/fastdfs/storage #儲存路徑 tracker_server=192.168.1.177:22122 #tracker 伺服器的 IP 地址和埠號 -
啟動
cd /usr/bin ./fdfs_storaged /etc/fdfs/storage.conf restart
java client
Javaclient的jar包不在maven的中央倉庫中，需要下載原始碼包手工安裝到私服中。
下載地址：https://github.com/happyfish100/fastdfs-client-java
我們主要關注storageclient這個類，這個類提供了檔案上傳下載查詢檔案資訊等主要功能，與系統的整合也主要使用這個api。
Paste_Image.png
-
新建fastDFS.conf配置檔案
connect_timeout = 2 network_timeout = 20 #tracker伺服器地址，如果有多個tracker可以配置多個tracker_server tracker_server=192.168.1.177:22122 -
執行原始碼包中的org.csource.fastdfs.test.testClient.java，注意在main方法中需要傳遞兩個引數，第一個是配置檔案，第二個是待上傳的檔案
Paste_Image.png
-
測試結果，已經能夠通過Javaclient上傳下載檔案，但是通過http的方式下載還有問題。
Paste_Image.png
Paste_Image.png
Paste_Image.png
在storage節點上安裝nginx，增加http下載支援
-
編譯安裝nginx，下載prce、zlib、fastdfs-nginx-module依賴支援，上傳到storage的usr/local/src目錄下。fastdfs-nginx-module主要用於解決同一組內檔案同步不及時的問題。
Paste_Image.png
-
解壓縮
cd /usr/local/src unzip ./zlib-master.zip tar -xvf ./nginx-1.11.7.tar.gz unzip ./pcre-8.38.zip cd ./nginx-1.11.7 ./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module-master/src --with-pcre=/usr/local/src/pcre-8.38 --with-zlib=/usr/local/src/zlib-master make && make install cp ../fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/ -
修改nginx.conf
server { listen 80; server_name localhost; location ~ /group1/M00{ root /data/fastdfs/storage; ngx_fastdfs_module; } } -
配置mod_fastdfs.conf
#儲存日誌目錄 base_path=/data/fastdfs/storage #tracker 伺服器的 IP 地址以及埠號 storage_server_port=23000 #storage 伺服器的埠號 tracker_server=192.168.1.177:22122 #當前伺服器的 group 名 group_name=group1 #檔案 url 中是否有 group 名 url_have_group_name = true #儲存路徑個數，需要和 store_path 個數匹配 store_path0=/data/fastdfs/storage #儲存路徑 store_path_count=1 # 從檔案 擴充套件 名查 找 檔案 型別 （ nginx 時 為true） group_count = 2#設定組的個數 http.need_find_content_type=true [group1] group_name=group1 storage_server_port=23000 store_path_count=1 store_path0=/data/fastdfs/storage
Paste_Image.png
安裝nginx反向代理伺服器（192.168.1.177）
-
安裝nginx，安裝過程參考上一步
-
配置nginx.conf
upstream fdfs_group1 { server 192.168.1.188 weight=1 max_fails=2 fail_timeout=30s; #server 192.168.1.189 weight=1 max_fails=2 fail_timeout=30s; } server { listen 80; server_name localhost; location /group1/M00 { proxy_next_upstream http_502 http_504 error timeout invalid_header; proxy_pass http://fdfs_group1; expires 30d; } #其他配置 } -
再次使用Javaclient測試
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
其他深入主題
- nginx反向代理伺服器的快取優化
- 擴容方案
- tracker節點的叢集優化
作者：哥別打臉
連結：https://www.jianshu.com/p/1c71ae024e5e
來源：簡書
簡書著作權歸作者所有，任何形式的轉載都請聯絡作者獲得授權並註明出處。