leetcode20-有效括號
一、背景
- 容量不夠,redis如何進行擴容?
- 併發寫操作, redis如何分攤?
- 另外,主從模式,薪火相傳模式,主機宕機,導致ip地址發生變化,應用程式中配置需要修改對應的主機地址、埠等資訊。
- 之前通過代理主機來解決,但是redis3.0中提供瞭解決方案。就是無中心化叢集配置。
二、什麼是叢集
- Redis 叢集實現了對Redis的水平擴容,即啟動N個redis節點,將整個資料庫分佈儲存在這N個節點中,每個節點儲存總資料的1/N。
- Redis 叢集通過分割槽(partition)來提供一定程度的可用性(availability): 即使叢集中有一部分節點失效或者無法進行通訊, 叢集也可以繼續處理命令請求。
三、實現一個叢集
3.1 配置基本資訊
- 開啟daemonize yes
- Pid檔名字
- 指定埠
- Log檔名字
- Dump.rdb名字
- Appendonly 關掉或者換名字
3.2 redis cluster配置修改
- cluster-enabled yes 開啟叢集模式
- cluster-config-file nodes-6379.conf 設定節點配置檔名
- cluster-node-timeout 15000 設定節點失聯時間,超過該時間(毫秒),叢集自動進行主從切換。
include /home/bigdata/redis.conf port 6379 pidfile "/var/run/redis_6379.pid" dbfilename "dump6379.rdb" dir "/home/bigdata/redis_cluster" logfile "/home/bigdata/redis_cluster/redis_err_6379.log" cluster-enabled yes cluster-config-file nodes-6379.conf cluster-node-timeout 15000
3.3 修改redis6379.conf檔案,拷貝5份
修改另外五份檔案。
3.4 啟動六個服務
3.5 合併成一個叢集
- 組合之前,請確保所有redis例項啟動後,nodes-xxxx.conf檔案都生成正常。
-
合體 cd /opt/redis-6.2.1/src
redis-cli --cluster create --cluster-replicas 1 192.168.11.101:6379 192.168.11.101:6380 192.168.11.101:6381 192.168.11.101:6389 192.168.11.101:6390 192.168.11.101:6391
此處不要用127.0.0.1, 請用真實IP地址
--replicas 1 採用最簡單的方式配置叢集,一臺主機,一臺從機,正好三組。
3.6 登入方式
-
普通方式登入
可能直接進入讀主機,儲存資料時,會出現MOVED重定向操作。所以,應該以叢集方式登入。
-
-c 採用叢集策略連線,設定資料會自動切換到相應的寫主機
3.7 通過cluster nodes命令檢視叢集資訊
3.8 redis cluster 如何分配這六個節點?
- 一個叢集至少要有三個主節點。
- 選項 --cluster-replicas 1 表示我們希望為叢集中的每個主節點建立一個從節點。
- 分配原則儘量保證每個主資料庫執行在不同的IP地址,每個從庫和主庫不在一個IP地址上。
四、什麼是slots
[OK] All 16384 slots covered.
- 一個 Redis 叢集包含 16384 個插槽(hash slot), 資料庫中的每個鍵都屬於這 16384 個插槽的其中一個,
- 叢集使用公式 CRC16(key) % 16384 來計算鍵 key 屬於哪個槽, 其中 CRC16(key) 語句用於計算鍵 key 的 CRC16 校驗和 。
- 叢集中的每個節點負責處理一部分插槽。 舉個例子, 如果一個叢集可以有主節點, 其中:
- 節點 A 負責處理 0 號至 5460 號插槽。
- 節點 B 負責處理 5461 號至 10922 號插槽。
- 節點 C 負責處理 10923 號至 16383 號插槽。
五、叢集操作
在redis-cli每次錄入、查詢鍵值,redis都會計算出該key應該送往的插槽,如果不是該客戶端對應伺服器的插槽,redis會報錯,並告知應前往的redis例項地址和埠。
在叢集中插入值
redis-cli客戶端提供了 –c 引數實現自動重定向。
如 redis-cli -c –p 6379 登入後,再錄入、查詢鍵值對可以自動重定向。
不在一個slot下的鍵值,是不能使用mget,mset等多鍵操作。
可以通過{}來定義組的概念,從而使key中{}內相同內容的鍵值對放到一個slot中去。
查詢叢集中的值
CLUSTER GETKEYSINSLOT
六、故障恢復
如果主節點下線?從節點能否自動升為主節點?注意:15秒超時
主節點恢復後,主從關係會如何?主節點回來變成從機。
如果所有某一段插槽的主從節點都宕掉,redis服務是否還能繼續?
如果某一段插槽的主從都掛掉,而cluster-require-full-coverage 為yes ,那麼 ,整個叢集都掛掉
如果某一段插槽的主從都掛掉,而cluster-require-full-coverage 為no ,那麼,該插槽資料全都不能使用,也無法儲存。
redis.conf中的引數 cluster-require-full-coverage
七、叢集的jedis開發
即使連線的不是主機,叢集會自動切換主機儲存。主機寫,從機讀。
無中心化主從叢集。無論從哪臺主機寫的資料,其他主機上都能讀到資料。
public class JedisClusterTest {
public static void main(String[] args) {
Set<HostAndPort>set =new HashSet<HostAndPort>();
set.add(new HostAndPort("192.168.31.211",6379));
JedisCluster jedisCluster=new JedisCluster(set);
jedisCluster.set("k1", "v1");
System.out.println(jedisCluster.get("k1"));
}
}
八、叢集的優缺點
優勢:
- 實現擴容
- 分攤壓力
- 無中心配置相對簡單
劣勢:
- 多鍵操作是不被支援的
- 多鍵的Redis事務是不被支援的。lua指令碼不被支援
- 由於叢集方案出現較晚,很多公司已經採用了其他的叢集方案,而代理或者客戶端分片的方案想要遷移至redis cluster,需要整體遷移而不是逐步過渡,複雜度較大。