2. 程式人生 > >千萬級使用者Redis快取叢集搭建以及專案實戰

千萬級使用者Redis快取叢集搭建以及專案實戰

阿新 • • 發佈：2018-12-25

Redis單機版搭建

3.1安裝redis
?版本說明
本教程使用redis3.0版本。3.0版本主要增加了redis叢集功能。
安裝的前提條件：
需要安裝 gcc：yum install gcc-c++

1、下載redis的原始碼包。
2、把原始碼包上傳到linux伺服器
3、解壓原始碼包
tar -zxvf redis-3.0.0.tar.gz
開啟redis下的目錄直接Make
4、Make
5、Make install
[[email protected] redis-3.0.0]# make install PREFIX=/usr/local/redis

3.2啟動redis
1、前端啟動模式
直接啟動不需要任何配置檔案
/usr/local/redis/bin/redis-server
預設是前端啟動模式，埠是6379
2、後端啟動
1）從redis的原始碼目錄中複製redis.conf到redis的安裝目錄。
2）修改配置檔案
這裡寫圖片描述


3）[[email protected] bin]# ./redis-server redis.conf
R**edis常用命令**
set a 放快取
get a 取key

1，引入Redis jar 如果是Maven需要給他座標
package com.taotao.rest.jedis;

import org.junit.Test;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;

public class JedisTest {

@Test
public void testJedisSingle () {
    //測試單機版
    //建立一個jedis物件
    Jedis jedis = new Jedis("192.168.31.123", 6379);
    //host 是IP地址
    //port是埠號
    //呼叫Jedis物件方法，方法名和redis命令保持一致
    //key 和value的形式
            //Set賦值
    jedis.set("key1", "jedis test");
    //get取值
    String string = jedis.get("key1");
    System.out.println(string);
    //關閉jedis
    jedis.close();
}

Jedis連線池
@Test
public void testJedisPool () {
//建立一個jedis連線池
JedisPool pool = new JedisPool(“192.168.31.123”, 6379);
//從jedis連線池中獲取jedis物件
Jedis jedis = pool.getResource();
String string = jedis.get(“key1”);
System.out.println(string);
//關閉jedis
jedis.close();
//關閉兩連線池
pool.close();

}

}
Redis叢集的搭建
叢集中有三個節點的叢集，每個節點有一主一備。需要6臺虛擬機器。
搭建一個偽分散式的叢集，使用6個redis例項來模擬。
搭建叢集需要的環境
Ruby（一種面向物件程式設計的指令碼語言）編輯Ruby，一種簡單快捷的面向物件（面向物件程式 指令碼語言，在20世紀90年代由日本人松本行弘(Yukihiro Matsumoto)開發，遵守GPL協議和Ruby License。它的靈感與特性來自於 Perl、Smalltalk、Eiffel、Ada以及 Lisp 語言。由 Ruby 語言本身還發展出了JRuby（Java平臺）、IronRuby（.NET平臺）等其他平臺的 Ruby 語言替代品。Ruby的作者於1993年2月24日開始編寫Ruby，直至1995年12月才正式公開發佈於fj（新聞組）。因為Perl發音與6月誕生石pearl（珍珠）相同，因此Ruby以7月誕生石ruby（紅寶石）名。具體參考百度

1,搭建叢集需要使用到官方提供的ruby指令碼。
2,需要安裝ruby的環境。
3,安裝ruby
yum install ruby
yum install rubygems

4,redis叢集管理工具redis-trib.rb

[[email protected] ~]# cd redis-3.0.0
[[email protected] redis-3.0.0]# cd src
[[email protected] src]# ll *.rb
-rwxrwxr-x. 1 root root 48141 Apr 1 07:01 redis-trib.rb
[[email protected] src]#
指令碼需要的ruby包：

7,要上傳到linux服務。
8,安裝ruby的包：
gem install redis-3.0.0.gem
[[email protected] ~]# gem install redis-3.0.0.gem
Successfully installed redis-3.0.0
1 gem installed
Installing ri documentation for redis-3.0.0…
Installing RDoc documentation for redis-3.0.0…
叢集的搭建
第一步：建立6個redis例項，埠號從7001~7006

第二步：修改redis的配置檔案
1、修改埠號

·

2、開啟cluster-enable前面的註釋。

第三步：把建立叢集的ruby指令碼複製到redis-cluster目錄下。

第四步：啟動6個redis例項
建立一個指令碼來啟動 vim startall.sh
cd redis01
./redis-server redis.conf
cd redis02
./redis-server redis.conf
cd redis03
./redis-server redis.conf
cd redis04
./redis-server redis.conf
cd redis05
./redis-server redis.conf
cd redis06
./redis-server redis.conf
以上分別是 6個redis叢集
第五步：建立叢集。
./redis-trib.rb create –replicas 1 192.168.31.123:7001
192.168.31.123:7002
192.168.31.123:7003
192.168.31.123:7004
192.168.31.123:7005
192.168.31.123:7006
這裡的IP是自己linux本機上的地址
[[email protected] redis-cluster]# ./startall.sh
[[email protected] redis-cluster]# ps aux|grep redis
root 2642 0.2 0.1 33936 1992 pts/1 Sl+ 03:16 0:19 ./redis-server *:6379
root 3783 0.2 0.1 33936 1948 ? Ssl 05:17 0:00 ./redis-server *:7001 [cluster]
root 3785 0.2 0.1 33936 1948 ? Ssl 05:17 0:00 ./redis-server *:7002 [cluster]
root 3787 0.2 0.1 33936 1952 ? Ssl 05:17 0:00 ./redis-server *:7003 [cluster]
root 3795 0.2 0.1 33936 1948 ? Ssl 05:17 0:00 ./redis-server *:7004 [cluster]
root 3797 0.2 0.1 33936 1948 ? Ssl 05:17 0:00 ./redis-server *:7005 [cluster]
root 3803 0.2 0.1 33936 1948 ? Ssl 05:17 0:00 ./redis-server *:7006 [cluster]
root 3809 0.0 0.0 4356 724 pts/3 S+ 05:18 0:00 grep redis
看到上面資訊表示啟動成功
下面此資訊叢集啟動成功

[[email protected] redis-cluster]# ./redis-trib.rb create –replicas 1 192.168.31.123:7001 192.168.31.123:7002 192.168.31.123:7003 192.168.31.123:7004 192.168.31.123:7005 192.168.31.123:7006

Creating cluster
Connecting to node 192.168.31.123:7001: OK
Connecting to node 192.168.31.123:7002: OK
Connecting to node 192.168.31.123:7003: OK
Connecting to node 192.168.31.123:7004: OK
Connecting to node 192.168.31.123:7005: OK
Connecting to node 192.168.31.123:7006: OK
Performing hash slots allocation on 6 nodes…
Using 3 masters:
192.168.31.123:7001
192.168.31.123:7002 這三個是主節點
192.168.31.123:7003
Adding replica 192.168.31.123:7004 to 192.168.31.123:7001
Adding replica 192.168.31.123:7005 to 192.168.31.123:7002 一個主配置一個從
Adding replica 192.168.31.123:7006 to 192.168.31.123:7003
M: f0d92726bbb9d965d251c6b454f0f4270d1a2d7c 192.168.31.123:7001
slots:0-5460 (5461 slots) master 0-5460 是他的槽數
M: 86da4d7c4d51e3d6d9d93aaef26c6b74a6b70595 192.168.31.123:7002
slots:5461-10922 (5462 slots) master 5461-10922 是他的槽數
M: 01d95e8a67f9c582bbd47a256f79fb69e24a2845 192.168.31.123:7003
slots:10923-16383 (5461 slots) master 5461-10922 是他的槽數
S: 7313c2f7e34ff2eeb0977bc07688a95784d3bc1e 192.168.31.123:7004
replicates f0d92726bbb9d965d251c6b454f0f4270d1a2d7c
S: 0b8010f0a2f6da13814e2ea0657eb0c50086435e 192.168.31.123:7005
replicates 86da4d7c4d51e3d6d9d93aaef26c6b74a6b70595
S: b973eb46720b547f0d096ad750766c25261589dd 192.168.31.123:7006
replicates 01d95e8a67f9c582bbd47a256f79fb69e24a2845
Can I set the above configuration? (type ‘yes’ to accept): yes
Nodes configuration updated
Assign a different config epoch to each node
Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join…
Performing Cluster Check (using node 192.168.31.123:7001)
M: f0d92726bbb9d965d251c6b454f0f4270d1a2d7c 192.168.31.123:7001
slots:0-5460 (5461 slots) master
M: 86da4d7c4d51e3d6d9d93aaef26c6b74a6b70595 192.168.31.123:7002
slots:5461-10922 (5462 slots) master
M: 01d95e8a67f9c582bbd47a256f79fb69e24a2845 192.168.31.123:7003
slots:10923-16383 (5461 slots) master

下面是Redis的備用節點
他沒有槽數 因為它上面的資料和主節點上的是一樣

M: 7313c2f7e34ff2eeb0977bc07688a95784d3bc1e 192.168.31.123:7004
slots: (0 slots) master
replicates f0d92726bbb9d965d251c6b454f0f4270d1a2d7c
M: 0b8010f0a2f6da13814e2ea0657eb0c50086435e 192.168.31.123:7005
slots: (0 slots) master
replicates 86da4d7c4d51e3d6d9d93aaef26c6b74a6b70595
M: b973eb46720b547f0d096ad750766c25261589dd 192.168.31.123:7006
slots: (0 slots) master
replicates 01d95e8a67f9c582bbd47a256f79fb69e24a2845
[OK] All nodes agree about slots configuration.

Check for open slots…
Check slots coverage…
[OK] All 16384 slots covered.
[[email protected] redis-cluster]#

Redis的槽數解說
redis-cluster把所有的物理節點對映到[0-16383]slot上,cluster 負責維護node<->slot<->value
Redis 叢集中內建了 16384 個雜湊槽，當需要在 Redis 叢集中放置一個 key-value 時，redis 先對 key 使用 crc16 演算法算出一個結果，然後把結果對 16384 求餘數，這樣每個 key 都會對應一個編號在 0-16383 之間的雜湊槽，redis 會根據節點數量大致均等的將雜湊槽對映到不同的節點

測試叢集

不加 -c

[[email protected] redis-cluster]# redis01/redis-cli -h 192.168.31.123 -p 7002 不加 -c
192.168.25.153:7002> set a 100
(error) MOVED 15495 192.168.25.153:7003 會報錯 找不到節點 出錯 也能連線 但是不好使
192.168.31.123:7002>

加 -c
[[email protected] redis-cluster]# redis01/redis-cli -h 192.168.31.123 -p 7002 -c

drwxr-xr-x. 2 root root 4096 Jan 5 05:25 redis01
drwxr-xr-x. 2 root root 4096 Jan 5 05:25 redis02
drwxr-xr-x. 2 root root 4096 Jan 5 05:25 redis03
drwxr-xr-x. 2 root root 4096 Jan 5 05:25 redis04
drwxr-xr-x. 2 root root 4096 Jan 5 05:25 redis05
drwxr-xr-x. 2 root root 4096 Jan 5 05:25 redis06
-rwxr-xr-x. 1 root root 48141 Jan 5 05:10 redis-trib.rb
-rwxr-xr-x. 1 root root 259 Jan 5 05:16 startall.sh
[[email protected] redis-cluster]# redis01/redis-cli -h 192.168.31.123 -p 7002 -c
192.168.31.123:7002> set a 100 給節點新增值
-> Redirected to slot [15495] located at 192.168.31.123:7003
OK
192.168.31.123:7003>
這種結果表示叢集搭建成功 你ping誰誰給你PONG redis節點之間是自動的

Redis叢集版測試
使用JedisCluster 不需要建立連線池 它自帶連線池
@Test
public void testJedisCluster () {
//建立一個Set集合
HashSet nodes = new HashSet();
//將Redis所有的節點加入到一個集合裡面
//使用HostAndPost 創建出 Host port ip地址和埠號
nodes.add(new HostAndPort(“192.168.31.123”, 7001));
nodes.add(new HostAndPort(“192.168.31.123”, 7002));
nodes.add(new HostAndPort(“192.168.31.123”, 7003));
nodes.add(new HostAndPort(“192.168.31.123”, 7004));
nodes.add(new HostAndPort(“192.168.31.123”, 7005));
nodes.add(new HostAndPort(“192.168.31.123”, 7006));
//把我Rdeis裡的所以節點告訴Cluster
JedisCluster cluster = new JedisCluster(nodes);
cluster.set(“key1”, “1000”);
String string = cluster.get(“key1”);
System.out.println(string);
cluster.close();
}

相關推薦

千萬級使用者Redis快取叢集搭建以及專案實戰

Redis單機版搭建 3.1安裝redis ?版本說明 本教程使用redis3.0版本。3.0版本主要增加了redis叢集功能。 安裝的前提條件： 需要安裝 gcc：yum install gcc-c++ 1、下載redis的原始碼包。 2

redis叢集搭建以及可能出現的問題

redis redis下載安裝 cd tmp mkdir frank cd frank mkdir redis cd redis wget http://download.redis.io/releases/redis-4.0.1.tar.gz tar xz

Hadoop叢集搭建以及遇到問題詳解

轉載：http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ centos7單機、分散式、偽分佈：https://blog.csdn.net/qq_40938267/article/details/83416665  有詳細的搭建過程

使用docker redis-cluster叢集搭建

參考https://www.cnblogs.com/cxbhakim/p/9151720.html此文 主要搭建過程參考上文，此處講下主要過程和遇到的坑 首先是映象的基礎搭建，我不知道是否是作者編寫時和我現在的版本不同了，第一個坑點Dockerfile中FROM Centos:7，這去掉算

redis快取叢集簡單介紹

這裡是修真院後端小課堂，每篇分享文從 【背景介紹】【知識剖析】【常見問題】【解決方案】【編碼實戰】【擴充套件思考】【更多討論】【參考文獻】 八個方面深度解析後端知識/技能，本篇分享的是： 【redis快取叢集簡單介紹】 【修真院java小課堂】redis快取叢集簡單介紹 &n

Redis學習筆記（5）—— Redis的持久化方案&Redis的叢集搭建

一、Redis的持久化方案 　　Redis的高效能是由於其將所有資料都儲存在了記憶體中，為了使Redis在重啟之後仍能保證資料不丟失，需要將資料從記憶體中同步到硬碟中，這一過程就是持久化。        Redis支援兩種方式的持久化，一種是RDB方式，一種是AOF

Redis 5 叢集搭建

實驗環境 在VMware中準備3個虛擬機器，每個虛擬機器部署2個redis，實現一個總共6個節的redis叢集。 redis服務使用單獨的redis使用者和使用者組啟動。所有檔案都在/home/redis目錄下。 OS: CentOS-7-x86_64-Minimal

【修真院java小課堂】REDIS快取叢集介紹

大家好，我是IT修真院西安分院第三期學員，一枚正直純潔善良的JAVA程式設計師。 今天給大家分享一下，修真院官網JAVA任務六，深度思考中的知識點——REDIS快取叢集介紹 一、背景介紹 Redis： Redis 是一個開源（BSD許可）的，記憶體中的資料結構儲存系統

redis cluter叢集搭建+springboot整合

Redis Sentinel提供高可用，通過Redis Cluster提供自動分割槽.記錄一下redis 叢集搭建及與springboot整合 Redis Cluster 將所有資料劃分為 16384 的 slots,Cluster預設會對key值使用crc1

【修真院JAVA小課堂】redis快取叢集簡單介紹

大家好，我是IT修真院鄭州分院第11期的JAVA學員，一枚正直純潔善良的java程式設計師。 今天給大家分享一下，redis快取叢集簡單介紹。 1.背景介紹 redis是一個key-value儲存系統。和Memcached類似，它支援儲存的value型別相對更多，包括s

7.redis cluster叢集搭建(6個節點)

本文是3臺伺服器,1:7001,7002 ; 2: 7003,7004 ; 3:7005,7006 1.安裝redis,同前面文章所提的安裝過程(僅安裝,暫不配置配置檔案) 注意: (1).在etc目錄下新建幾個資料夾 a. redis 用於存放redis.

redis cluster叢集搭建與深入分析（1）

對於之前所講的master+slave進行讀寫分離同時通過sentinel叢集保障高可用的架構，對於一般的資料量系統已經足夠。但是對於資料量龐大的T級別的資料，單master可能就無法滿足橫向擴充套件的場景。所以redis cluster支援多master

Redis-Cluster 叢集搭建（三主三從）

搭建Ruby yum install ruby yum install rubygems 安裝redis 和 gcc,tcl [[email protected] src]# yum install -y gcc-c++ [[ema

Redis詳細叢集搭建管理_2018_lcf

      目前Redis叢集搭建的方式有多種，例如使用zookeeper等，但從redis 3.0之後版本支援redis-cluster叢集，Redis-Cluster採用無中心結構，每個節點儲存資料和整個叢集狀態,每個節點都和其他所有節點連線 其結構特點：

Ubuntu 16.04下Redis Cluster叢集搭建

實際操作如下： 版本：4.0.2 原始碼編譯： wget http://download.redis.io/releases/redis-4.0.2.tar.gz tar xzf redis-4.0.2.tar.gz cd redis-4.0.2 make

redis cluster叢集搭建

一、環境準備 採用的Vmware pro 12虛擬機器，建立一個centos7最小化版本節點，在上面安裝redis-4.0.6,再複製兩個redis例項。然後通過vmware克隆一個新的節點。從而保證三主三從共6個redis例項。 二、操作步驟 1.在每

REDIS快取叢集介紹

本次介紹redis快取叢集，目前是為了解決session共享的問題（這裡只說如何配置叢集），當然它可以解決更麻煩的問題，只是目前還用不到。redis快取叢集是比較實用的技能，佈置方式要根據自己的實際需求來判斷。使用過程最重要的是如何解決快取帶來的問題，今天介紹的

redis-cluser叢集搭建及使用

    近段時間一直在研究redis-cluser叢集模式，準備將原有的sentinel模式替換掉。但是遲遲沒能落實，一來是現有叢集模式尚能滿足現有應用，怕變更後不穩定固不願輕易改動；二是對redis-cluster的研究還不是很深入，還需要時間。redis-cluster

Linux 系列（三）——Redis 分散式叢集搭建

       在一文中詳細介紹了在Linux環境中搭建Redis服務，本文將介紹關於Redis分散式 叢集搭建細節。 一、Redis叢集架構 1、Redis叢集架構圖 藍色的為Redis叢集中

Redis快取叢集及叢集負載均衡方案設計

快取模組設計 採用分散式快取: 說明： （1）Web伺服器端只負責呼叫介面獲取/更新資料，不必關心業務資料處理； （2）介面負責具體的資料處理，包括快取資料的寫入/更新; （3）快取叢集用於快取伺服器宕機後，資料仍然高可用。 快取寫入規則