2. 程式人生 > >基於jedis、redis-sentinel的redis主從、高可用、sharding架構

基於jedis、redis-sentinel的redis主從、高可用、sharding架構

阿新 • • 發佈：2018-12-25
最近專案上需要對Redis（目前redis用的是2.8版本）做高可用、叢集等優化，就擴充套件了jedis客戶端(MasterSlaveJedis、MasterSlaveJedisPool、ShardedMasterSlaveJedis、ShardedMasterSlaveJedisPool)，以滿足以下幾個需求：
1、主Redis與各個從Redis之間能夠實現高可用(監控、自動故障遷移等)，這個委託給redis-sentinel來實現。
2、業務程式碼中為分散redis服務的壓力，全部寫操作走主庫，部分讀操作需要走從伺服器的業務需求。(就目前jedis 2.6.2版本中的JedisSentinelPool做不到這點)

3、對多個Master-Slaves組成的高可用單元做sharding叢集

一、針對僅Master-Slaves架構組成的使用例子

sentinel_63791.conf

port 63791
daemonize yes
logfile "/var/log/redis/sentinel_63791.log"

#master-1
sentinel monitor master-1 192.168.137.101 6379 2
sentinel down-after-milliseconds master-1 15000
sentinel parallel-syncs master-1 1
sentinel failover-timeout master-1 90000


sentinel_63792.conf

port 63792
daemonize yes
logfile "/var/log/redis/sentinel_63792.log"

#master-1
sentinel monitor master-1 192.168.137.101 6379 2
sentinel down-after-milliseconds master-1 15000
sentinel parallel-syncs master-1 1
sentinel failover-timeout master-1 90000

Java程式碼 收藏程式碼
  1. Set<String> sentinels = new LinkedHashSet<String>();  
  2. sentinels.add("192.168.137.101:63791");  
  3. sentinels.add("192.168.137.101:63792");  
  4. Pool<MasterSlaveJedis> masterSlaveJedisPool = new MasterSlaveJedisSentinelPool("master-1", sentinels,jedisPoolConfig);  
  5. MasterSlaveJedis masterSlaveJedis = masterSlaveJedisPool.getResource();  
  6. //>>> masterSlaveJedis = MasterSlaveJedis {master=192.168.137.101:6379, slaves=[192.168.137.101:6380, 192.168.137.101:6381]}
  7. System.out.println(">>> masterSlaveJedis = " + masterSlaveJedis);  
  8. masterSlaveJedis.set("nowTime", "2015-03-16 15:34:55"); // 底層實際呼叫主Redis上的相應方法master.set("nowTime", "2015-03-16 15:34:55");
  9. LockSupport.parkNanos(TimeUnit.MILLISECONDS.toNanos(200));  
  10. String slaveHolder1 = "myslave1";  
  11. Jedis slave1 = masterSlaveJedis.opsForSlave(slaveHolder); //如果全部slave都掛掉的話,那麼opsForSlave則返回master
  12. System.out.println(">>> nowTime = " + slave1.get("nowTime")); //>>> nowTime = 2015-03-16 15:34:55
  13. String slaveHolder2 = "myslave1";  
  14. Jedis slave2 = masterSlaveJedis.opsForSlave(slaveHolder);  
  15. System.out.println(">>> nowTime = " + slave2.get("nowTime")); //>>> nowTime = 2015-03-16 15:34:55
  16. System.out.println(slave1.equals(slave2)); // 如果slaveHolder1 equals slaveHolder2那麼slave1.equals(slave2)肯定是同一個物件
  17. masterSlaveJedisPool.returnResource(masterSlaveJedis);  


二、針對由各個Master-Slaves單元組成的sharding叢集架構使用例子

假設有兩個Master-Slaves單元：
master-1 : master=192.168.137.101:6379 slaves=[192.168.137.101:6380, 192.168.137.101:6381]（相當於一個shard）
master-2 : master=192.168.137.101:6382 slaves=[192.168.137.101:6383, 192.168.137.101:6384]（相當於一個shard）

sentinel_63791.conf

port 63791
daemonize yes
logfile "/var/log/redis/sentinel_63791.log"

#master-1
sentinel monitor master-1 192.168.137.101 6379 2
sentinel down-after-milliseconds master-1 15000
sentinel parallel-syncs master-1 1
sentinel failover-timeout master-1 90000
#master-2
sentinel monitor master-2 192.168.137.101 6382 2
sentinel down-after-milliseconds master-2 15000
sentinel parallel-syncs master-2 1
sentinel failover-timeout master-2 90000

sentinel_63792.conf

port 63792
daemonize yes
logfile "/var/log/redis/sentinel_63792.log"

#master-1
sentinel monitor master-1 192.168.137.101 6379 2
sentinel down-after-milliseconds master-1 15000
sentinel parallel-syncs master-1 1
sentinel failover-timeout master-1 90000
#master-2
sentinel monitor master-2 192.168.137.101 6382 2
sentinel down-after-milliseconds master-2 15000
sentinel parallel-syncs master-2 1
sentinel failover-timeout master-2 90000

Java程式碼 收藏程式碼
  1. Set<String> masterNames = new LinkedHashSet<String>();  
  2. masterNames.add("master-1");  
  3. masterNames.add("master-2");  
  4. Set<String> sentinels = new LinkedHashSet<String>();  
  5. sentinels.add("192.168.137.101:63791");  
  6. sentinels.add("192.168.137.101:63792");  
  7. Pool<ShardedMasterSlaveJedis> shardedMasterSlaveJedisPool = new ShardedMasterSlaveJedisSentinelPool(masterNames, sentinels,jedisPoolConfig);  
  8. ShardedMasterSlaveJedis shardedMasterSlaveJedis = shardedMasterSlaveJedisPool.getResource();  
  9. for(int i = 0; i < 10; i++){  
  10.     String key = "shard-" + i;  
  11.     shardedMasterSlaveJedis.set(key, String.valueOf(i));  
  12.     // shard-0, shard-2, shard-6, shard-8, shard-9各key分佈在master-1[192.168.137.101:6379], shard-1, shard-3, shard-4, shard-5, shard-7各key分佈在master-2[192.168.137.101:6382]
  13.     System.out.println(key + " = " + shardedMasterSlaveJedis.get(key));  
  14.     LockSupport.parkNanos(TimeUnit.MILLISECONDS.toNanos(200));  
  15.     System.out.println(key + " = " + shardedMasterSlaveJedis.getShard(key).opsForSlave().get(key)); // 從一個Master-Slaves單元中的某一個從Redis例項獲取key的值
  16. }  
  17. shardedMasterSlaveJedisPool.returnResource(shardedMasterSlaveJedis);  


專案地址：https://github.com/penggle/jedis-ms-sentinel 
該專案已經發布到maven中央庫上： 
maven: 
      <groupId>com.github.penggle</groupId> 
      <artifactId>jedis-ms-sentinel</artifactId> 
      <version>1.0.0</version> 
      <name>jedis-ms-sentinel</name> 
gradle: 
      compile("com.github.penggle:jedis-ms-sentinel:1.0.0")

相關推薦

10、redis哨兵集群高可用

ava 動態 保存 拷貝 rep 工作原理 arraylist AR 虛擬 1 Redis的分片技術 1.1 分片介紹 1.1.1 傳統方式的問題 說明:如果采用單臺redis時,如果redis出現宕機現象.那麽會直接影響我們的整個的服務. 1.1.2 采用分片模式 說明:

基於DR模式的keepalived主從模式高可用架構搭建

linuxkeepalived高可用一：架構圖示2.keepalived是什麽？Keepalived的作用是檢測服務器的狀態，如果有一臺web服務器宕機 ，或工作出現故障，Keepalived將檢測到，通過VRRP協議，將有故障的服務器從系統中剔除，同時使用其他服務器代替該服務器的工作，當服務器工作正常後 K

基於ubuntu搭建Redis(4.0) Cluster 高可用(HA)叢集環境

What is Redis? Redis is often referred as a data structures server. What this means is that Redis provides access to mutable data

15.7，哨兵叢集 redis-sentinel主從複製高可用

redis-sentinel主從複製高可用   Redis-Sentinel Redis-Sentinel是redis官方推薦的高可用性解決方案，當用redis作master-slave的高可用時，如果master

基於jedis、redis-sentinel的redis主從、高可用、sharding架構

最近專案上需要對Redis（目前redis用的是2.8版本）做高可用、叢集等優化，就擴充套件了jedis客戶端(MasterSlaveJedis、MasterSlaveJedisPool、ShardedMasterSlaveJedis、ShardedMasterSlaveJ

Redis主從復制、多實例及其高可用(三)--技術流ken

ups not run mct redis 監控 主從復制 傳輸 recv cep Redis主從復制 Redis的主從復制策略是通過其持久化的rdb文件來實現的，其過程是先dump出rdb文件，將rdb文件全量傳輸給slave，然後再將dump後的操作實時同步到sla

redis的主從複製和高可用、叢集，以及用redis做mysql快取

一、redis的安裝先在下載安裝包解壓後進入目錄應為已經有Makefile了所以直接make編譯這裡會報錯，需要gcc編譯器安裝好gcc，再次make編譯，還是會報錯；這個錯誤根據 Readme 可知需要執行 make MALLOC=libcmake完成後，提示去到 src

15套java架構師、集群、高可用、高可擴展、高性能、高並發、性能優化、Spring boot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式項目實戰視頻教程

mycat 擴展 並發解決方案 入門到 -1 高端 資料 src nio * { font-family: "Microsoft YaHei" !important } h1 { background-color: #006; color: #FF0 } 15套java

java架構師課程、性能調優、高並發、tomcat負載均衡、大型電商項目實戰、高可用、高可擴展、數據庫架構設計、Solr集群與應用、分布式實戰、主從復制、高可用集群、大數據

慢查詢 主從復制 難題 jms 整合 大數 數據庫設計 企業級 nginx網站 15套Java架構師詳情 * { font-family: "Microsoft YaHei" !important } h1 { background-color: #006; color:

15套java架構師、高並發、集群、高可用、高可擴展、高性能、性能優化Redis、ActiveMQ、Mycat、Netty、Jvm

高並發 集群 分布式 多線程 項目實戰 15套Java架構師詳情15套java架構師、集群、高可用、高可擴展、高性能、高並發、性能優化、Spring boot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式項目實戰視頻教程 視頻課程包含：高級Java架構

基於彈性計算平臺——構建高可用、可擴充套件的應用

前不久，Facebook宣佈投資10億美元收購僅成立15個月的移動照片分享應用Instagram，訊息傳出時，人們不僅驚歎於這筆鉅額的交易，更為這支13個人的小團隊感到不可思議。Instagram的Android版客戶端釋出時，24小時內下載量超過100萬，高峰期達到每分

Redis之高可用、叢集、雲平臺搭建

文章大綱 一、基礎知識學習二、Redis常見的幾種架構及優缺點總結三、Redis之Redis Sentinel（哨兵）實戰四、Redis之Redis Cluster（分散式叢集）實戰五、Java之Jedis連線Redis（Redis Cluster版本）六、Redis之雲平臺介紹七、專案原始碼與資料下載八、

Redis快取維護方案-考慮資料庫與快取雙寫、redis和本地資料庫事務一致性、資料庫主從同步延遲的情況怎麼解決快取與資料庫不一致

一般常用的快取方案有兩種： 第一種 讀的時候，先讀快取，快取沒有的話，讀資料庫，取出資料後放入快取，同時返回響應。 更新的時候，

15套java互聯網架構師、高並發、集群、負載均衡、高可用、數據庫設計、緩存、性能優化、大型分布式 項目實戰視頻教程

二階 並發 支持 線程並發 important http 系統架構 四十 mongodb入門 * { font-family: "Microsoft YaHei" !important } h1 { color: #FF0 } 15套java架構師、集群、高可用、高可擴

強一致、高可用、自動容災能力背後，阿裏X-Paxos的應用實踐

強一致 自動容災 高可用 阿裏x-paxos 能力 axos(分布式一致性算法)作為分布式系統的基石，一直都是計算機系統工程領域的熱門話題。Paxos 號稱是最難理解的算法，其實當真這麽困難麽?X-Paxos 是阿裏巴巴數據庫團隊面向高性能、全球部署以及阿裏業務特征等需求，實現的一個高性能

高性能、高可用、高擴展ERP系統架構設計

sqlserve 學習 業務邏輯層 表設計 應用程序 log cnblogs 便在 tab ERP之痛 曾幾何時，我混跡於電商、珠寶行業4年多，為這兩個行業開發過兩套大型業務系統（ERP）。作為一個ERP系統，系統主要功能模塊無非是訂單管理、商品管理、生產采

redis主從+keepalived 高可用 自動切換

redis主從高可用一環境介紹 master： 172.168.1.69slave ： 172.168.1.57 VIP 172.168.1.253 虛擬IP 二。設計思路： 當 Master 與 Slave 均運作正常時, Master負責服務，Slave負責Standby； 當

一套高可用、易伸縮、高併發的IM群聊架構方案設計實踐

本文原題為“一套高可用群聊訊息系統實現”，由作者“於雨氏”授權整理和釋出，內容有些許改動，作者部落格地址：alexstocks.github.io。應作者要求，如需轉載，請聯絡作者獲得授權。 一、引言 要實現一整套能用於大使用者量、高併發場景下的IM群聊，技術難度遠超IM系統中的其它功能，原

高可用、全整合、定製化，螞蟻金服自動化測試如何演進

小螞蟻說： 11月16日，在首屆安卓綠色聯盟

架構應用之高可用、高複用

架構應用之高可用、高複用 。   一、儲存高可用 儲存的高可用，主要是通過資料冗餘的方式來實現高可用，複雜性主要是在如何保持資料一致性，複製延遲和網路中斷都會帶來資料不一致。主要考慮的就是，資料如何複製，如何應對複製延遲，如何應對複製中斷，各個節點的職責是什麼。