一致性Hash分佈簡介

在伺服器數量不發生改變時，普通的Hash分佈可以很好地運作。當伺服器的數量發生改變時，問題就出來了，試想，增加一臺伺服器時，同一個key經過Hash之後，與伺服器取模的結果跟沒增加伺服器之前的結果會不一樣，這就導致之前儲存的資料丟失。為了把丟失的資料減少到最少，可以採用一致性hash演算法。

一致性hash演算法分為6個步驟：

步驟1：

將一個32位整數0~2^32 -1想象成一個環，將0作為圓環的頭，2^32 -1作為圓環的尾，把它連線起來。當然這只是想象。

步驟2：

通過Hash函式把key處理成整數。

function mHash($key){
    $md5
 
 = substr(md5($key),0,8);
    $seed = 31;
    $hash = 0;

    for($i = 0; $i < 8; $i++){
        $hash = $hash*$seed + ord($md5{$i});
        $i++;
    }
    return $hash & 0x7FFFFFFF;
}

$key1 = mHash("key1");
$key2 = mHash("key2");
$key3 = mHash("key3");
$key4 = mHash("key4");

把key處理成整數後，就可以在環中找到一個位置與之對應，如下圖

步驟3：

把memcached群對映到環上，使用Hash函式處理伺服器所使用的IP地址。

假如有3臺伺服器，分別使用IP（127.0.0.1），IP（127.0.0.2），IP（127.0.0.3），使用下面的方法對映到環上。

$server1 = mHash("127.0.0.1");
$server2 = mHash("127.0.0.2");
$server3 = mHash("127.0.0.3");

步驟4：把資料對映 到伺服器上

沿著環順時針方向的key出發，知道遇到下一個伺服器為止，把key對應的資料儲存到這個伺服器上。根據上面的方法，key4和key3儲存到server2上，key2儲存到server1上，key1儲存到server3上。

步驟5：移除伺服器

考慮一下，如果server2伺服器崩潰了，那麼受最大影響的僅是沿著server2逆時針出發直到下一個伺服器之間的資料，也就是對映到server2上的那些資料。然後依照規則，將server2伺服器上的資料移植下一個伺服器上即可。

在上例中，需要進行變動的有key3和key4對應的資料，把這些資料重新對映到server1上即可。

步驟6：新增伺服器。

再考慮一下，如果要新增一個伺服器server4，用之前的方法把它對映到key3和key4之間，這時受到的影響是沿著server4逆時針出發直至遇到下一個伺服器之間的資料，把這些資料重新對映到server4上即可。

在這裡僅需要變動的只有key4對應的資料，將其重新對映到server4上即可。

使用PHP實現一致性Hash分佈演算法的程式碼如下：（注：個人理解所編寫，並不權威）

<?php
class FlexiHash
{
    private $serverList = array();//儲存伺服器列表
    private $isSorted = FALSE;//記錄伺服器列表是否已經排過序

    /*新增伺服器*/
    function addServer($server){
        $hash = $this->mHash($server);

        if(!isset($this->serverList[$hash])){
            $this->serverList[$hash] = $server;
        }

        $this->isSorted = FALSE;
        return TRUE;
    }

    /*移除伺服器*/
    function removeServer($server){

        $hash = $this->mHash($server);

        if(isset($this->serverList[$hash])){
            unset($this->serverList[$hash]);//unset只是銷燬了某個變數，並不會重建陣列索引
        }

        $this->isSorted = FALSE;
        return TRUE;
    }

    /*根據值查詢所在伺服器*/
    function lookup($key){
        $hash = $this->mHash($key);
        /*將陣列按鍵由小到大排序*/
        if(!$this->isSorted) {
            ksort($this->serverList);
            $this->isSorted = TRUE;
        }
        /*由於陣列是按鍵由小到大排列的，如果$hash小於等於陣列的鍵，則返回該鍵的value，即伺服器IP*/
        foreach($this->serverList as $pos => $server) { 
            if($hash <= $pos) {
                return $server;
            }
        }
        /*如果上述遍歷沒有找到合適的值，則返回第一個*/
        return $this->serverList[current(array_keys($this->serverList))];
    }

    /*hash函式*/
    function mHash($key){
        $md5 = substr(md5($key),0,8);
        $seed = 31;
        $hash = 0;

        for($i = 0; $i < 8; $i++){
        $hash = $hash*$seed + ord($md5{$i});
            $i++;
        }
        return $hash & 0x7FFFFFFF;
    }

}
?>

測試程式碼：

<?php
$hserver = new FlexiHash();

$hserver -> addServer("127.0.0.1");
$hserver -> addServer("127.0.0.2");
$hserver -> addServer("127.0.0.3");
$hserver -> addServer("127.0.0.4");
$hserver -> addServer("127.0.0.5");

echo "save key1 in server: " . $hserver->lookup("key1")."<br>";
echo "save key2 in server: " . $hserver->lookup("key2")."<br>";

echo "=============================="."<br>";

$hserver->removeServer("127.0.0.1");

echo "save key1 in server: " . $hserver->lookup("key1")."<br>";
echo "save key2 in server: " . $hserver->lookup("key2")."<br>";

echo "=============================="."<br>";

$hserver->addServer("127.0.0.1");

echo "save key1 in server: " . $hserver->lookup("key1")."<br>";
echo "save key2 in server: " . $hserver->lookup("key2")."<br>";

echo "=============================="."<br>";
?>

執行結果如下：

注：關於雜湊演算法，讀者可以自己編寫自己的，也可以運用PHP自帶函式或方法。

例如：一個比較簡單的

echo sprintf('%u',crc32("test"));

一致性hash分佈優化

上述方法的缺點如下：

• 伺服器算出的mhash()，並不均勻，就會出現，資料分配不均的現象。
• 移除一個伺服器後，會將此伺服器的資料，全部轉移至下一個伺服器，並不能將其分擔給其餘伺服器。

解決方法：

建立若干的虛擬節點，這樣，done掉一臺伺服器的話，資料會近似均勻的分給其他幾臺伺服器。

實現方式：

<?php
class FlexiHash
{
    private $serverList = array();//儲存伺服器虛擬節點
    private $isSorted = FALSE;//記錄伺服器列表是否已經排過序
    protected $_mul = 64;//每臺伺服器分成64個虛節點


    /*新增伺服器*/
    function addServer($server){
        for($i=0; $i<$this->_mul; $i++) {
            $node = $server.'-'.$i;//給虛節點起名字
            if(!isset($this->serverList[$this->mHash($node)])){
                $this->serverList[$this->mHash($node)] = $server;
            }
        }
        $this->isSorted = FALSE;
        return TRUE;
    }

    /*移除伺服器的所有虛擬節點*/
    function removeServer($server){
        foreach($this->serverList as $key=>$value) {
            if($this->serverList[$key] == $server){
                unset($this->serverList[$key]);
            }
        }
        $this->isSorted = FALSE;
        return TRUE;
    }

    /*根據值查詢所在伺服器*/
    function lookup($key){
        $hash = $this->mHash($key);
        /*將陣列按鍵由小到大排序*/
        if(!$this->isSorted) {
            ksort($this->serverList);
            $this->isSorted = TRUE;
        }
        /*由於陣列是按鍵由小到大排列的，如果$hash小於等於陣列的鍵，則返回該鍵的value，即伺服器IP*/
        foreach($this->serverList as $pos => $server) { 
            if($hash <= $pos) {
                return $server;
            }
        }
        /*如果上述遍歷沒有找到合適的值，則返回第一個*/
        return $this->serverList[current(array_keys($this->serverList))];
    }

    /*hash函式*/
    function mHash($key){
        $md5 = substr(md5($key),0,8);
        $seed = 31;
        $hash = 0;

        for($i = 0; $i < 8; $i++){
            $hash = $hash*$seed + ord($md5{$i});
            $i++;
        }
        return $hash & 0x7FFFFFFF;
    }

    function getAllServers(){
        return $this->serverList;
    }

}
?>

測試：

<?php
$hserver = new FlexiHash();

$hserver -> addServer("127.0.0.1");
$hserver -> addServer("127.0.0.2");
$hserver -> addServer("127.0.0.3");
$hserver -> addServer("127.0.0.4");
$hserver -> addServer("127.0.0.5");

echo "save key1 in server: " . $hserver->lookup("key1")."<br>";
echo "save key2 in server: " . $hserver->lookup("key2")."<br>";

echo "=============================="."<br>";

$hserver->removeServer("127.0.0.1");

echo "save key1 in server: " . $hserver->lookup("key1")."<br>";
echo "save key2 in server: " . $hserver->lookup("key2")."<br>";

echo "=============================="."<br>";

$hserver->addServer("127.0.0.1");

echo "save key1 in server: " . $hserver->lookup("key1")."<br>";
echo "save key2 in server: " . $hserver->lookup("key2")."<br>";

echo "=============================="."<br>";


//var_dump($hserver->getAllServers());
?>

執行結果：

再看伺服器的分佈情況：