1. 程式人生 > 其它 >一致性雜湊演算法——虛擬節點

一致性雜湊演算法——虛擬節點

一致性雜湊演算法——虛擬節點

一致性雜湊演算法是分散式系統中常用的演算法。比如,一個分散式的儲存系統,要將資料儲存到具體的節點上,如果採用普通的hash方法,將資料對映到具體的節點上,如key%N,key是資料的key,N是機器節點數,如果有一個機器加入或退出這個叢集,則所有的資料對映都無效了,如果是持久化儲存則要做資料遷移,如果是分散式快取,則其他快取就失效了。

因此,引入了一致性雜湊演算法:

把資料用hash函式(如MD5),對映到一個很大的空間裡,如圖所示。資料的儲存時,先得到一個hash值,對應到這個環中的每個位置,如k1對應到了圖中所示的位置,然後沿順時針找到一個機器節點B,將k1儲存到B這個節點中。

如果B節點宕機了,則B上的資料就會落到C節點上,如下圖所示:

這樣,只會影響C節點,對其他的節點A,D的資料不會造成影響。然而,這又會造成一個“雪崩”的情況,即C節點由於承擔了B節點的資料,所以C節點的負載會變高,C節點很容易也宕機,這樣依次下去,這樣造成整個叢集都掛了。

為此,引入了“虛擬節點”的概念:即把想象在這個環上有很多“虛擬節點”,資料的儲存是沿著環的順時針方向找一個虛擬節點,每個虛擬節點都會關聯到一個真實節點 ,如下圖所使用:

圖中的A1、A2、B1、B2、C1、C2、D1、D2都是虛擬節點,機器A負載儲存A1、A2的資料,機器B負載儲存B1、B2的資料,機器C負載儲存C1、C2的資料。由於這些虛擬節點數量很多,均勻分佈,因此不會造成“雪崩”現象。