FastDFS分布式文件系統
FastDFS簡介
FastDFS是一個輕量級的開源分布式文件系統
FastDFS主要解決了大容量的文件存儲和高並發訪問的問題,文件存取時實現了負載均衡
FastDFS實現了軟件方式的RAID,可以使用廉價的IDE硬盤進行存儲
支持存儲服務器在線擴容
支持相同內容的文件只保存一份,節約磁盤空間
FastDFS只能通過ClientAPI訪問,不支持POSIX訪問方式
FastDFS特別適合大中型網站使用,用來存儲資源文件(如:圖片、文檔、音頻、視頻等等)
系統架構-架構圖
系統架構-上傳文件流程圖
1. client詢問tracker上傳到的storage,不需要附加參數;
2. tracker返回一臺可用的storage;
3. client直接和storage通訊完成文件上傳。
系統架構-下載文件流程圖
1. client詢問tracker下載文件的storage,參數為文件標識(組名和文件名);
2. tracker返回一臺可用的storage;
3. client直接和storage通訊完成文件下載。
相關術語
Tracker Server:跟蹤服務器,主要做調度工作,在訪問上起負載均衡的作用。記錄storage server的狀態,是連接Client和Storageserver的樞紐。
Storage Server:存儲服務器,文件和meta data都保存到存儲服務器上
group:組,也可稱為卷。同組內服務器上的文件是完全相同的
文件標識:包括兩部分:組名和文件名(包含路徑)
meta data:文件相關屬性,鍵值對(Key Value Pair)方式,如:width=1024,heigth=768
同步機制
同一組內的storageserver之間是對等的,文件上傳、刪除等操作可以在任意一臺storage server上進行;
文件同步只在同組內的storage server之間進行,采用push方式,即源服務器同步給目標服務器;
源頭數據才需要同步,備份數據不需要再次同步,否則就構成環路了;
上述第二條規則有個例外,就是新增加一臺storage server時,由已有的一臺storageserver將已有的所有數據(包括源頭數據和備份數據)同步給該新增服務器。
通信協議
協議包由兩部分組成:header和body
header共10字節,格式如下:
– 8 bytes body length
– 1 byte command
– 1 byte status
body數據包格式由取決於具體的命令,body可以為空
運行時目錄結構-tracker server
${base_path}
|__data
| |__storage_groups.dat:存儲分組信息
| |__storage_servers.dat:存儲服務器列表
|__logs
|__trackerd.log:trackerserver日誌文件
運行時目錄結構-storage server
${base_path}
|__data
| |__.data_init_flag:當前storageserver初始化信息
| |__storage_stat.dat:當前storage server統計信息
| |__sync:存放數據同步相關文件
| | |__binlog.index:當前的binlog文件索引號
| | |__binlog.###:存放更新操作記錄(日誌)
| | |__${ip_addr}_${port}.mark:存放同步的完成情況
| |
| |__一級目錄:256個存放數據文件的目錄,如:00, 1F
| |__二級目錄:256個存放數據文件的目錄
|__logs
|__storaged.log:storageserver日誌文件
安裝和運行
#step 1. download FastDFS source package and unpack it,
# if you use HTTP to download file, please downloadlibevent 1.4.x and install it
tar xzf FastDFS_v1.x.tar.gz
#for example:
tar xzf FastDFS_v1.20.tar.gz
#step 2. enter the FastDFS dir
cd FastDFS
#step 3. if HTTP supported, modify make.sh, uncommentthe line:
# WITH_HTTPD=1, then execute:
./make.sh
#step 4. make install
./make.sh install
#step 5. edit/modify the config file of tracker andstorage
#step 6. run server programs
#start the tracker server:
/usr/local/bin/fdfs_trackerd
#start the storage server:
/usr/local/bin/fdfs_storaged
FastDFS和集中存儲方式對比
FastDFS中文:http://www.csource.org/
FastDFS英文:http://code.google.com/p/fastdfs/
官網資料,分享給大家學習
願意了解框架技術或者源碼的朋友直接加求求(企鵝):2042849237
更多詳細源碼參考來源:http://minglisoft.cn/technology
FastDFS分布式文件系統