redis分片機制(shards)

前提說明: redis可以通過修改記憶體的大小 實現資料的儲存.但是記憶體的資源不易設定的過大,因為很多的時間都浪費在記憶體的定址中.
需求: 如果有海量的資料,需要redis儲存 問:應該如何處理?
解決方案: 可以採用Redis分片機制 實現記憶體資料的擴容.
知識點: 採用redis分片 只要的目的就是為了實現記憶體擴容.從而解決海量資料儲存的問題

圖解

Redis分片搭建步驟

我們可以啟動多個redis服務, 來實現多個redis伺服器, 因為redis是根據配置檔案來啟動的, 我們只需要準備3個不同的配置檔案, 修改為不同的埠進行測試,

實際環境可能是3臺redis 伺服器, 我們只需要找對應的ip和段鷗配置即可, 這裡為了方便測試, 在同一臺機器上執行3個不同埠的redis服務

1. 準備條件

建立目錄shards, 並複製3個redis配置檔案到此目錄, 檔名分別為 6379.conf, 6380.conf, 6381.conf

並修改配置檔案中的埠號port=3679,port=3680,,port=3681

為了方便測試, 可先關閉AOF模式, 只使用rdb模式

修改配置檔案中生成rdb檔案的名稱為 dbfilename=6379.rdb, dbfilename=6380.rdb, dbfilename=6381.rdb

啟動3個redis服務:

redis-server 6379.conf
redis-server 6380.conf
redis-server 6381.conf
 

檢視程序是否啟動成功

ps -ef | grep redis

如果顯示3個redis不同埠的程序說明啟動成功, 可以進行下步操作了

2. springboot分片入門案例

首先確定已經匯入了redis的相關maven依賴, 然後進行測試

分片機制使用的是 ShardedJedis 物件, 而不是 Jedis 物件, 其構造方法為傳入JedisShardInfo集合, 集合中的資料為每個redis的伺服器IP和port

public class TestShards { //改類表示測試redis分片機制

    /**
     * 說明:在Linux中有3臺redis.需要通過程式進行動態連結.
     * 實現資料的儲存.
     * 思考: 資料儲存到了哪臺redis中???
     */
    @Test
    public void test01(){
        List<JedisShardInfo> shards = new ArrayList<>();
        shards.add(new JedisShardInfo("192.168.126.129", 6379));
        shards.add(new JedisShardInfo("192.168.126.129", 6380));
        shards.add(new JedisShardInfo("192.168.126.129", 6381));
        //分片的API
        ShardedJedis shardedJedis = new ShardedJedis(shards);
        shardedJedis.set("王者榮耀", "你好我是小菜雞,坑死你");
        System.out.println(shardedJedis.get("王者榮耀"));
    }
}
 

輸出結果為 你好我是小菜雞,坑死你

那麼分片機制中的資料存到了哪個redis伺服器? 是按什麼演算法進行存取的呢?  請接著往下看

一致性hash演算法

說明

一致性雜湊演算法在1997年由麻省理工學院提出，是一種特殊的雜湊演算法，目的是解決分散式快取的問題。 在移除或者新增一個伺服器時，能夠儘可能小地改變已存在的服務請求與處理請求伺服器之間的對映關係。一致性雜湊解決了簡單雜湊演算法在分散式雜湊表( Distributed Hash Table，DHT) 中存在的動態伸縮等問題 。

原理

常識:

1. 一般的hash由8位16進位制陣列成的. 共有2^32種可能性!!!
2. hash演算法對相同的資料進行hash運算時 結果必然相同.

特性

1. 平衡性

   平衡性是指hash的結果應該平均分配到各個節點，這樣從演算法上解決了負載均衡問題
   說明:引入虛擬節點 實現資料的平衡 但是平衡是相對的.不是絕對的.

2. 單調性

   單調性是指在新增或者刪減節點時，不影響系統正常執行 。

3. 分散性

   散性是指資料應該分散地存放在分散式叢集中的各個節點(節點自己可以有備份)，不必每個節點都儲存所有的資料 。
   雞蛋不要放到一個籃子裡.

springboot整合哨兵機制

1. 準備redis.properties檔案

每個IP和埠用逗號分隔, IP和埠之間使用:冒號分隔, 方便我們進行解析

# 配置多臺redis
redis.nodes=192.168.126.129:6379,192.168.126.129:6380,192.168.126.129:6381

2. 編輯配置類

@Configuration  //標識我是配置類
@PropertySource("classpath:/properties/redis.properties")
public class RedisConfig {

    @Value("${redis.nodes}")
    private String nodes;   //node,node,node

    /**
     * spring整合redis分片機制
     */
    @Bean
    public ShardedJedis shardedJedis(){
        //1.獲取每個節點的資訊
        String[] strNodes = nodes.split(",");
        List<JedisShardInfo> shards = new ArrayList<>();
        //2.遍歷所有node.為list集合賦值
        for(String node :strNodes){ //node=ip:port
            String host = node.split(":")[0]; // ip
            int port = Integer.parseInt(node.split(":")[1]); // port
            JedisShardInfo info = new JedisShardInfo(host,port);
            shards.add(info);
        }

        ShardedJedis shardedJedis = new ShardedJedis(shards);
        return shardedJedis;
    }

}

3. 分片機制AOP

關於AOP實現分片機制, 可參考 [AOP實現單臺redis]

我們只需要將第三步中 private Jedis jedis; 改為 private ShardedJedis jedis 即可