目錄
GlusterFS之分散式（Distribute ）分析
1   GlusterFS分散式概念（應用場景）
1.1   誰發現了哪些問題，導致需要GlusterFS分散式？（who）
1.2什麼地方發現了問題，導致需要GlusterFS分散式？（who）
1.3什麼時間發現了問題，導致需要GlusterFS分散式？（when）
1.4GlusterFS檔案系統出現了什麼問題，導致需要分散式解決方案？（what）
1.5為什麼說這個問題是一個問題？（why）
1.6GlusterFS分散式實現思想和方案？（how）
1.7如果沒dht問題程度有多大，使用dht付出代價有多大？（how much）
1.8使用dht效果如何，使用者體驗和滿意程度有多大？（how feel）
1.9Dht在監控系統中的應用場景（實際應用）
2   Dht資料流（這裡說nfs，pfs類似）
2.1拓撲結構
2.1.1分散式卷資訊
2.1.2客戶端nfs堆疊資訊
2.2   fop業務資料流
2.2.1dht預設軟體選項（init）
2.2.2create：在某個目錄下，建立一個檔案。
2.2.3mkdir：建立一個路徑。
2.2.4readdir：讀取路徑下檔案
2.2.5writev：寫檔案
2.2.6readv：讀取檔案
2.2.7rename：檔案重新命名（演示最複雜的的一種過程）
2.3   dht自修複數據流
2.3.1dht路徑修復依據
2.3.2路徑修復流程
3   軟體表項
4   Dht原始碼分析
4.1   程式碼目錄結構
5   Dht效能評估
6   Dht缺陷評估
6.1   Brick離線
7   Dht修復缺陷策略
7.1   create建立檔案操作：
7.2mkdir建立資料夾操作
7.3mknod建立裝置檔案操作
8   修復缺陷策略風險
8.1同名檔案並存

1GlusterFS分散式概念（應用場景）
1.1誰發現了哪些問題，導致需要GlusterFS分散式？（who）
1.2什麼地方發現了問題，導致需要GlusterFS分散式？（who）
1.3什麼時間發現了問題，導致需要GlusterFS分散式？（when）
1.4GlusterFS檔案系統出現了什麼問題，導致需要分散式解決方案？（what）
1.5為什麼說這個問題是一個問題？（why）
1.6GlusterFS分散式實現思想和方案？（how）
1.7如果沒dht問題程度有多大，使用dht付出代價有多大？（how much）
1.8使用dht效果如何，使用者體驗和滿意程度有多大？（how feel）
1.9Dht在監控系統中的應用場景（實際應用）

2Dht資料流（這裡說nfs，pfs類似）

2.1拓撲結構

2.1.1分散式卷資訊
[[email protected] ~]# gluster volume info
 
Volume Name: dht_vol
Type: Distribute
Volume ID: ad0d4705-86e0-4980-a87d-38ec2b0e04aa
Status: Started
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: 192.168.10.247:/vol/brick1
Brick2: 192.168.10.248:/vol/brick1

2.1.2客戶端nfs堆疊資訊：
volume dht_vol-client-0
    type protocol/client
    option send-gids true
    option password 2bbcc98c-b280-4dbd-95a5-aa339cd30d0b
    option username c4f9ed25-8a18-44bd-bcf7-69230bc90335
    option transport-type tcp
    option remote-subvolume /vol/brick1
    option remote-host 192.168.10.247
end-volume

volume dht_vol-client-1
    type protocol/client
    option send-gids true
    option password 2bbcc98c-b280-4dbd-95a5-aa339cd30d0b
    option username c4f9ed25-8a18-44bd-bcf7-69230bc90335
    option transport-type tcp
    option remote-subvolume /vol/brick1
    option remote-host 192.168.10.248
end-volume

volume dht_vol-dht
    type cluster/distribute
    subvolumes dht_vol-client-0 dht_vol-client-1
end-volume

volume dht_vol-write-behind
    type performance/write-behind
    subvolumes dht_vol-dht
end-volume

volume dht_vol
    type debug/io-stats
    option count-fop-hits off
    option latency-measurement off
    subvolumes dht_vol-write-behind
end-volume

volume nfs-server
    type nfs/server
    option nfs3.dht_vol.volume-id ad0d4705-86e0-4980-a87d-38ec2b0e04aa
    option rpc-auth.addr.dht_vol.allow *
    option nfs.drc off
    option nfs.nlm on
    option nfs.dynamic-volumes on
    subvolumes dht_vol
end-volume

2.2fop業務資料流
2.2.1dht預設軟體選項（init）
subvol_cnt=2
subvolumes[0]=protocol/client.dht_vol-client-0
file_layouts[0].cnt=1
file_layouts[0].preset=1
file_layouts[0].gen=0
subvolume_status[0]=1
subvolumes[1]=protocol/client.dht_vol-client-1
file_layouts[1].cnt=1
file_layouts[1].preset=1
file_layouts[1].gen=0
subvolume_status[1]=0
search_unhashed=1
gen=3
min_free_disk=10.000000
min_free_inodes=5.000000
disk_unit=p
refresh_interval=0
unhashed_sticky_bit=0
du_stats.avail_percent=80.000000
du_stats.avail_space=31865081856
du_stats.avail_inodes=92.000000
du_stats.log=0

option unhashed-sticky-bit using default value off（粘住位（S_ISVTX））
option use-readdirp using default value on
option directory-layout-spread not set
option assert-no-child-down using default value off
option readdir-optimize using default value off
using regex rsync-hash-regex = ^\.(.+)\.[^.]+$
option xattr-name using default value

2.2.2create：在某個目錄下，建立一個檔案。
1：建立一個test_file檔案
 
 
抓包可以看出通過了四次協議通訊：
1）lookup檢視檔案test_file是否存在；
2）nfs回覆不存在；
3）建立test_file請求；
4）建立成功，並返回filehandle；
5）Nfs控制訪問請求列表查詢；
6）返回通過
7）設定檔案屬性請求
8）返回成功

2：dht之lookup操作資料流
 

3：dht之create操作資料流
 

4：dht之setattr操作資料流


2.2.3mkdir：建立一個路徑。
1：建立一個test_file檔案
 

抓包可以看出通過了四次協議通訊：
1）access檢視父目錄的許可權。
2）回覆read、lookup、modify、extend、delete值都為1，都允許。
3）建立目錄dir_test1請求；
4）建立成功，並返回filehandle；

2：dht之access操作資料流
 

2：dht之mkdir操作資料流
 

2.2.4readdir：讀取路徑下檔案

 
2.2.5writev：寫檔案
link檔案的檔案屬性：
 

遷移資料中的檔案屬性：
 

Writev流程：
 

2.2.6readv：讀取檔案
遷移資料中的檔案屬性：

 

資料流：
 

2.2.7rename：檔案重新命名（演示最複雜的的一種過程）

節點247：

 
節點248：

 

檔案重新命名操作

節點247：

節點248：
 

資料流：
 
 
2.3dht自修複數據流
2.3.1dht路徑修復依據
1：檔案hash值出現空洞；
2：檔案hash值出現迭代
3：有一個brick對應的檔案路徑不存在

2.3.2路徑修復流程
資料夾缺失修復後的檔案屬性：

 

 

修復資料流

 
3軟體表項

4Dht原始碼分析
4.1程式碼目錄結構
 
Dht.c：glusterfs是基於堆疊結構的，擴充套件性很強，但是堆疊的每一層都需要依照一個固定的模式框架，包括class_methods_t class_methods（init，fini，reconfigure，notify）、struct xlator_fops fops、struct xlator_dumpops dumpops、struct xlator_cbks cbks等。該檔案就是存放glusterfs堆疊架構；
dht-shared.c：存放了option配置資訊，實現init和finit函式，重新配置dht功能函式，檢視dht相關資訊功能函式；
dht-common.c：實現了dht.c中定義的所有dht相關的檔案操作和notify函式；
dht-diskusage.c：存放了dht下子卷相關的儲存節點的儲存空間使用情況收集，判斷某個卷磁碟空間是否已經被塞滿；找出可用磁碟空間最多的卷；
dht-hashfn.c：使用Davies-Meyer演算法，通過檔案完整路徑計算獲得hash值。
dht-selfheal.c：檔案路徑修復相關函式。
5Dht效能評估

6Dht缺陷評估
6.1Brick離線
1：在Glusterfs檔案系統中，dht最核心的思想是彈性hash。建立一個檔案或者資料夾時，dht預設通過Davies-Meyer演算法，算出該檔案或資料夾放在哪個brick上，但如果此時對應的brick處於離線的狀態，這時檔案或資料夾就無法存入了，將返回對應錯誤。
 

2：在Glusterfs檔案系統中，假設當一個brick掉線，操作刪除一個檔案路徑；掉線的brick重新上線時，瀏覽父目錄則觸發檔案路徑修復，也就是資料夾修復，該資料夾是brick掉線後被刪除的，所以其他brick則通過檔案路徑修復又會恢復回來，則之前操作刪除一個資料夾就相對於失效了，這顯然是不合理的，所以在Glusterfs檔案系統中，如果一個節點掉線時，這時是無法刪除任意一個資料夾。
當一個或一個以上的節點掉線，刪除資料夾的操作將會返回io_error。


3：在Glusterfs檔案系統中，如果雜湊算出的brick存在link檔案，這時無法建立該檔案。

 

7Dht修復缺陷策略
7.1create建立檔案操作：
根據檔名帶入hash演算法，得到hash值對應的brick，這時先判斷該brick是否線上，如果是離線的則找到一個隨機的起始brick，迴圈查詢到一個可用的brick（線上且磁碟有空閒空間）。

7.2mkdir建立資料夾操作
根據資料夾名帶入hash演算法，得到hash值對應的brick，這時先判斷該brick是否線上，如果是離線的則找到一個隨機的起始brick，迴圈查詢到一個可用的brick（線上），離線brick上線後會進行檔案路徑修復。
 

7.3mknod建立裝置檔案操作
不作修改。

8修復缺陷策略風險
8.1同名檔案並存

 

讀寫同名檔案，以對應inode的快取決定讀取或寫入哪個brick檔案。一般情況下快取是在lookup的時候寫入inode快取索指向的brick，所有一般是xlator堆疊的最後一個client對應的brick的檔案。