為什麼寫這個

最近因為工作需要，使用了FastDFS，這是一款國產的開源DFS軟體，但是這個軟體本身不能對重複上傳的檔案進行去重，需要我們自己去處理，一種可行的方案是，在檔案上傳之前進行md5校驗，把每個檔案儲存在資料庫中，然後進行對比，這個md5值如果在資料庫中已經存在的話，就不上傳。不過這個效率可能不怎麼高。FastDFS作者餘慶也開源了一個解決的資源，就是FastDHT了，使用這個也可以做到去重。

關於FastDHT

FastDHT is a high-performance distributed hash system (DHT) which based key value pairs. It can store mass key value pairs such as filename mapping, session data and user related data.
FastDHT implements data replication by it’s binlog file, so it only uses the basic storage function of the Berkeley DB.
從這段話中可以看出，FastDHT是一個高效能的分散式雜湊系統，它是基於鍵值對儲存的，而且它需要依賴於Berkeley DB作為資料儲存的媒介，同時需要依賴於libfastcommon。
FastDHT叢集由一個或者多個組 group組成，同組伺服器上儲存的資料是相同的，資料同步只在組的伺服器之間進行；組內各個服務是對等的，對資料進行存取時，可以根據 key的hash值來決定使用哪臺機器。

安裝

先安裝libfastcommon

將原始碼解壓到/usr/local/src/目錄下，

[[email protected] src]# unzip libfastcommon-master.zip 
[[email protected] src]# cd libfastcommon-master
[[email protected] libfastcommon-master]# ls
HISTORY  INSTALL  libfastcommon.spec  make.sh  README  src
[[email protected]
 
 libfastcommon-master]# ./make.sh 
[[email protected] libfastcommon-master]# ./make.sh install
mkdir -p /usr/lib64
install -m 755 libfastcommon.so /usr/lib64
mkdir -p /usr/include/fastcommon
install -m 644 common_define.h hash.h chain.h logger.h base64.h shared_func.h pthread_func.h ini_file_reader.h _os_bits.h
 
 sockopt.h sched_thread.h http_func.h md5.h local_ip_func.h avl_tree.h ioevent.h ioevent_loop.h fast_task_queue.h fast_timer.h process_ctrl.h fast_mblock.h connection_pool.h /usr/include/fastcommon

安裝Berkeley DB

其實libfastcommon在安裝FastDFS的時候就會安裝了，接下來安裝db。這裡我下載的是db-6.1.19版本。

①將db-6.1.19原始碼拷貝到 /usr/local/src下
②進入db-6.1.19\build_unix，
③執行../dist/configure --prefix=/usr/local/db-6.1.19
④make
⑤make install
安裝完db,會在/usr/local目錄下生成db-6.1.19/

安裝FastDHT

①將fastdht-master原始碼解壓到 /usr/local/src下，編譯之前需要先修改make.sh檔案。
在CFLAGS=’-Wall -D_FILE_OFFSET_BITS=64 -D_GNU_SOURCE -I/usr/local/db-6.1.19/include/ -L/usr/local/db-6.1.19/lib/’
這行裡面加上斜體字部分。
②然後，進入/usr/local/src/fastdht-master原始碼目錄下，執行./make.mk
然後執行./make.sh install。
③最後會在/usr/local/bin生成安裝後的檔案，在/etc/fdht下生成檔案

[email protected]:/usr/local/bin# cd /etc/fdht/
[email protected]:/etc/fdht# ll
total 24
drwxr-xr-x   2 root root 4096 Apr 22 12:45 ./
drwxr-xr-x 102 root root 4096 Apr 22 12:45 ../
-rwxr-xr-x   1 root root  910 Apr 22 12:45 fdht_client.conf*
-rwxr-xr-x   1 root root 5374 Apr 22 12:45 fdhtd.conf*
-rwxr-xr-x   1 root root   76 Apr 22 12:45 fdht_servers.conf*

配置FastDHT

配置fdht_client.conf檔案

base_path=/data/fastdht
keep_alive=1
#include /etc/fdhtd/fdht_servers.conf

配置fdht_servers.conf檔案

vim /etc/fdhtd/fdht_servers.conf
group_count = 1
group0 = 10.10.10.81:11411
group0 = 10.10.10.82:11411

配置fdhtd.conf檔案

vim /etc/fdht/fdhtd.conf/
port=11411
bash_path=/data/fastdht （該目錄必須是已經存在的）
cache_size = 32MB
#include /etc/fdhtd/fdht_servers.conf  -> (本行前有#表示開啟，如果想關閉此選項，則應該為##開頭)

配置storaged.conf檔案

vim /etc/fdfs/storaged.conf
#是否檢測上傳檔案已經存在。如果已經存在，則建立一個索引連結以節省磁碟空間 
check_file_duplicate=1 
#當上個引數設定為1時 ， 在FastDHT中的名稱空間
key_namespace=FastDFS 
#長連線配置選項，如果為0則為短連線 1為長連線 
keep_alive=1 
#此處特別需要注意配置
#include /etc/fdht/fdht_servers.conf

啟動

或fdhtd /etc/fdht/fdhtd.conf
fdhtd /etc/fdht/fdhtd.conf restart

可能遇到問題：

fdhtd /etc/fdht/fdhtd.conf
error while loading shared libraries: libdb-6.1.so: cannot open shared object file: No such file or directory

解決辦法：

# cp /usr/local/db-6.1.19/lib/libdb-6.1.so /usr/lib/

然後再重新啟動就可以了。
測試一下：

可以看到，第一次上傳的檔案為：

-rw-r--r--   1 root root 3706 Apr 22 15:24 CgoKUlcZ0cWAUpQ4AAAOepbSnR0875.png

第一次上傳返回的結果為一個軟連結：CgoKUlcZ0cWAYmiNAAAOejexS3k075.png，之後每次重複上傳的話都是返回一個指向第一次上傳的檔案的軟連結。也就保證了檔案只儲存了一份。需要說明的是，FastDFS不會返回原始檔案的索引，比如這裡的CgoKUlcZ0cWAUpQ4AAAOepbSnR0875.png，即返回的全部是軟連結，當所有的軟連結都被刪除的時候，原始檔案也會從FastDFS中被刪除。

整個過程就是這樣了，就寫這麼多吧。。。