redis 基礎+進階
redis 基礎(單機版)
準備環境
centos 6.8
下載
下載redis:官方網站
使用的最新版本是3.2.8版本。
安裝gcc
需要安裝gcc的環境。
yum install gcc-c++
編譯和安裝
# 解壓
tar xzf redis-3.2.8.tar.gz
cd redis-3.2.8
# 編譯
make
# 安裝,PREFIX引數指定redis的安裝目錄。一般軟體安裝到/usr目錄下
make install PREFIX=/usr/local/redis
啟動服務端
- 前臺啟動
cd /usr/local/redis/bin/
./redis-server
- 後臺啟動
把/root/redis-3.2.8/redis.conf複製到/usr/local/redis/bin目錄下
cd redis-3.2.8
cp redis.conf /usr/local/redis/bin/
vim /usr/local/redis/bin/redis.conf
修改配置檔案:
cd /usr/local/redis/bin/
#後臺啟動
./redis-server redis.conf
檢視redis程序:
ps aux|grep redis
關閉 redis
找到程序,使用:
kill 程序號
啟動客戶端(Redis-cli)
啟動指令
[root@localhost bin]# ./redis-cli
預設連線localhost(127.0.0.1)執行在6379埠的redis服務。
指定連線ip 和 埠號
-h:連線的伺服器的地址
-p:服務的埠號
#需要保證伺服器已經啟動
[root@localhost bin]# ./redis-cli -h 192.168.25.153 -p 6379
關閉redis:
[root@localhost bin]# ./redis-cli shutdown
Mac 安裝
Mac os x下安裝Redis很簡單通過Brew安裝即可。
執行指令安裝Redis
brew install redis
結果:
==> Downloading https://homebrew.bintray.com/bottles/redis-3.0.7.yosemite.bottle
######################################################################## 100.0%
==> Pouring redis-3.0.7.yosemite.bottle.1.tar.gz
==> Caveats
To have launchd start redis at login:
ln -sfv /usr/local/opt/redis/*.plist ~/Library/LaunchAgents
Then to load redis now:
launchctl load ~/Library/LaunchAgents/homebrew.mxcl.redis.plist
Or, if you don't want/need launchctl, you can just run:
redis-server /usr/local/etc/redis.conf
==> Summary
/usr/local/Cellar/redis/3.0.7: 9 files, 876.3K
表示安裝成功了。那麼怎麼啟動它呢?
啟動,在終端直接執行命令
redis-server
Redis 預設埠是6379,你也可以換個埠號啟動,
redis-server --port 6380
停止,執行命令
redis-cli shutdown
Redis 基本使用
使用命令列,進行增刪改查的 redis 操作。
Redis五種資料型別
String:key-value(做快取)
Redis中所有的資料都是字串。命令不區分大小寫,key是區分大小寫的。Redis是單執行緒的。Redis中不適合儲存內容大的資料。
get、set、
incr:加一(生成id)
Decr:減一
存值取值:
127.0.0.1:6379> ping
PONG
127.0.0.1:6379> set name inke
OK
127.0.0.1:6379> get name
"inke"
127.0.0.1:6379> keys *
1) "name"
127.0.0.1:6379>
加一減一:
127.0.0.1:6379> incr countkey
(integer) 1
127.0.0.1:6379> incr countkey
(integer) 2
127.0.0.1:6379> decr countkey
(integer) 1
查詢所有 key
127.0.0.1:6379> keys *
1) "countkey"
2) "name"
Hash:key-fields-values(做快取)
相當於一個key對應一個Map,Map中還有key-value
使用hash對key進行歸類。
類似於:[key,Map[key,map]]
Hset:向hash中新增內容
- 格式:hset key field value
- field 表示域,一個 key 可以有多個域
Hget:從hash中取內容
向hash中新增內容:
127.0.0.1:6379> hset names test jack
(integer) 1
從hash中取內容
127.0.0.1:6379> hget names test
"jack"
向hash中新增內容:
127.0.0.1:6379> hset names test1 rose
(integer) 1
127.0.0.1:6379> hset names test2 inke
(integer) 1
獲取 key 的所有域
127.0.0.1:6379> hkeys names
1) "test"
2) "test1"
3) "test2"
獲取 key 的所有value
127.0.0.1:6379> hvals names
1) "inke"
2) "rose"
3) "inke"
獲取所有 key-value
127.0.0.1:6379> hgetall names
1) "test"
2) "inke"
3) "test1"
4) "rose"
5) "test2"
6) "inke"
刪除 key的某個域
127.0.0.1:6379> hdel names test1
(integer) 1
127.0.0.1:6379> hkeys names
1) "test"
2) "test2"
List:有順序可重複
類似於:[key,List[…]]
相當於List 集合有個原點,從左 或 從右 新增元素,類似於正負軸。
從左新增元素到 List 集合中
192.168.25.153:6379> lpush list1 a b c d
(integer) 4
從List 開頭0 到 結束-1 查詢遍歷
192.168.25.153:6379> lrange list1 0 -1
1) "d"
2) "c"
3) "b"
4) "a"
從右新增元素到 List 集合中
192.168.25.153:6379> rpush list1 1 2 3 4
(integer) 8
從List 開頭0 到 結束-1 查詢遍歷
192.168.25.153:6379> lrange list1 0 -1
1) "d"
2) "c"
3) "b"
4) "a"
5) "1"
6) "2"
7) "3"
8) "4"
192.168.25.153:6379>
左邊取出一個元素,取完就沒有了
192.168.25.153:6379> lpop list1
"d"
192.168.25.153:6379> lrange list1 0 -1
1) "c"
2) "b"
3) "a"
4) "1"
5) "2"
6) "3"
7) "4"
右邊取出一個元素,取完就沒有了
192.168.25.153:6379> rpop list1
"4"
192.168.25.153:6379> lrange list1 0 -1
1) "c"
2) "b"
3) "a"
4) "1"
5) "2"
6) "3"
192.168.25.153:6379>
Set:元素無順序,不能重複
類似於:[key,Set[…]]
新增元素
192.168.25.153:6379> sadd set1 a b c c c d
(integer) 4
查詢元素
192.168.25.153:6379> smembers set1
1) "b"
2) "c"
3) "d"
4) "a"
刪除元素
192.168.25.153:6379> srem set1 a
(integer) 1
查詢元素
192.168.25.153:6379> smembers set1
1) "b"
2) "c"
3) "d"
192.168.25.153:6379>
還有集合運算命令,自學(交集、並集、排序等等...)。
Key命令
設定key的過期時間。
Expire key second:設定key的過期時間
Ttl key:檢視key的有效期
Persist key:清除key的過期時間。Key持久化。
設定 Hello 這個 key 的過期時間為 100秒
192.168.25.153:6379> expire Hello 100
(integer) 1
檢視 Hello 這個 key 的過期時間,正數是正在倒計時,負數到期或者不存在key等。
192.168.25.153:6379> ttl Hello
(integer) 77
Key持久化,清除key的過期時間
192.168.25.153:6379> Persist key
(integer) 1
192.168.25.153:6379> ttl Hello
(integer) -1
Redis的持久化方案
Redis的所有資料都是儲存到記憶體中的。
Rdb:快照形式,定期把記憶體中當前時刻的資料儲存到磁碟。Redis預設支援的持久化方案。
aof形式:append only file。把所有對redis資料庫操作的命令,增刪改操作的命令。儲存到檔案中。資料庫恢復時把所有的命令執行一遍即可。
在redis.conf配置檔案中配置。
vim /usr/local/redis/bin/redis.conf
搜尋 rdb,可以看到以下配置
900秒儲存一次(資料變化1次)、300秒儲存一次(資料變化10次)、60秒儲存一次(資料變化10000次)儲存策略。
可能丟失資料,如果快取丟失資料無所謂,例如查詢資料,可以使用這個模式,效率高。
Rdb的配置:
Aof的配置:
vim /usr/local/redis/bin/redis.conf
搜尋 rdb,可以看到以下配置
降低丟失資料,可以考慮使用這種方案,每分鐘會同步一次快取到檔案中,但是操作磁碟,效率低。
兩種持久化方案同時開啟使用aof檔案來恢復資料庫。
redis 進階(叢集版)
redis-cluster架構圖
節點之間互相通訊。
redis-cluster投票:容錯
投票機制,判斷一個節點是否掛了,需要半數以上確認掛了,它才是掛了,如果沒有備份機,那麼 redis 就不能用了。
架構細節:
- 所有的redis節點彼此互聯(PING-PONG機制),內部使用二進位制協議優化傳輸速度和頻寬.
- 節點的fail是通過叢集中超過半數的節點檢測失效時才生效.
- 客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連線叢集所有節點,連線叢集中任何一個可用節點即可
- redis-cluster把所有的物理節點對映到[0-16383]slot上,cluster 負責維護node<->slot<->value
Redis 叢集中內建了 16384 個雜湊槽,當需要在 Redis 叢集中放置一個 key-value 時,redis 先對 key 使用 crc16 演算法算出一個結果,然後把結果對 16384 求餘數,這樣每個 key 都會對應一個編號在 0-16383 之間的雜湊槽,redis 會根據節點數量大致均等的將雜湊槽對映到不同的節點
舉例:分配16384 個雜湊槽,每個伺服器都會自己記錄有多少個槽,如果存 key 的值是 hello,計算 hello 的值是500,那麼會存放到0-5000的伺服器上,這是槽作用均勻分配。
Redis叢集的搭建
Redis叢集中至少應該有三個節點。要保證叢集的高可用,需要每個節點有一個備份機。
Redis叢集至少需要6臺伺服器。
搭建偽分散式。可以使用一臺虛擬機器執行6個redis例項。需要修改redis的埠號7001-7006
叢集搭建環境
使用ruby指令碼搭建叢集。需要ruby的執行環境。
安裝ruby
yum install ruby
yum install rubygems
安裝ruby指令碼執行使用的包。
[[email protected] ~]# gem install redis-3.0.0.gem
Successfully installed redis-3.0.0
1 gem installed
Installing ri documentation for redis-3.0.0…
Installing RDoc documentation for redis-3.0.0…
[[email protected] ~]#
[[email protected] ~]# cd redis-3.0.0/src
[[email protected] src]# ll *.rb
-rwxrwxr-x. 1 root root 48141 Apr 1 2015 redis-trib.rb
搭建步驟
自己沒有搭建,有點麻煩,但是記錄搭建流程是可行的,現實開發中也是運維搭建後,我們使用而已。
需要6臺redis伺服器。搭建偽分散式。
需要6個redis例項。
需要執行在不同的埠7001-7006
第一步:建立6個redis例項,每個例項執行在不同的埠。
需要修改redis.conf配置檔案。配置檔案中還需要把cluster-enabled yes前的註釋去掉。
第二步:啟動每個redis例項。
第三步:使用ruby指令碼搭建叢集。
./redis-trib.rb create --replicas 1 192.168.25.153:7001 192.168.25.153:7002 192.168.25.153:7003 192.168.25.153:7004 192.168.25.153:7005 192.168.25.153:7006
建立關閉叢集的指令碼:
前提是:關閉防火牆。
[[email protected] redis-cluster]# vim shutdow-all.sh
redis01/redis-cli -p 7001 shutdown
redis01/redis-cli -p 7002 shutdown
redis01/redis-cli -p 7003 shutdown
redis01/redis-cli -p 7004 shutdown
redis01/redis-cli -p 7005 shutdown
redis01/redis-cli -p 7006 shutdown
[[email protected] redis-cluster]# chmod u+x shutdow-all.sh
[[email protected] redis-cluster]# ./redis-trib.rb create --replicas 1 192.168.25.153:7001 192.168.25.153:7002 192.168.25.153:7003 192.168.25.153:7004 192.168.25.153:7005 192.168.25.153:7006
>>> Creating cluster
Connecting to node 192.168.25.153:7001: OK
Connecting to node 192.168.25.153:7002: OK
Connecting to node 192.168.25.153:7003: OK
Connecting to node 192.168.25.153:7004: OK
Connecting to node 192.168.25.153:7005: OK
Connecting to node 192.168.25.153:7006: OK
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
192.168.25.153:7001
192.168.25.153:7002
192.168.25.153:7003
Adding replica 192.168.25.153:7004 to 192.168.25.153:7001
Adding replica 192.168.25.153:7005 to 192.168.25.153:7002
Adding replica 192.168.25.153:7006 to 192.168.25.153:7003
M: 2e48ae301e9c32b04a7d4d92e15e98e78de8c1f3 192.168.25.153:7001
slots:0-5460 (5461 slots) master
M: 8cd93a9a943b4ef851af6a03edd699a6061ace01 192.168.25.153:7002
slots:5461-10922 (5462 slots) master
M: 2935007902d83f20b1253d7f43dae32aab9744e6 192.168.25.153:7003
slots:10923-16383 (5461 slots) master
S: 74f9d9706f848471583929fc8bbde3c8e99e211b 192.168.25.153:7004
replicates 2e48ae301e9c32b04a7d4d92e15e98e78de8c1f3
S: 42cc9e25ebb19dda92591364c1df4b3a518b795b 192.168.25.153:7005
replicates 8cd93a9a943b4ef851af6a03edd699a6061ace01
S: 8b1b11d509d29659c2831e7a9f6469c060dfcd39 192.168.25.153:7006
replicates 2935007902d83f20b1253d7f43dae32aab9744e6
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join.....
>>> Performing Cluster Check (using node 192.168.25.153:7001)
M: 2e48ae301e9c32b04a7d4d92e15e98e78de8c1f3 192.168.25.153:7001
slots:0-5460 (5461 slots) master
M: 8cd93a9a943b4ef851af6a03edd699a6061ace01 192.168.25.153:7002
slots:5461-10922 (5462 slots) master
M: 2935007902d83f20b1253d7f43dae32aab9744e6 192.168.25.153:7003
slots:10923-16383 (5461 slots) master
M: 74f9d9706f848471583929fc8bbde3c8e99e211b 192.168.25.153:7004
slots: (0 slots) master
replicates 2e48ae301e9c32b04a7d4d92e15e98e78de8c1f3
M: 42cc9e25ebb19dda92591364c1df4b3a518b795b 192.168.25.153:7005
slots: (0 slots) master
replicates 8cd93a9a943b4ef851af6a03edd699a6061ace01
M: 8b1b11d509d29659c2831e7a9f6469c060dfcd39 192.168.25.153:7006
slots: (0 slots) master
replicates 2935007902d83f20b1253d7f43dae32aab9744e6
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
[[email protected] redis-cluster]#
叢集的使用方法
Redis-cli 客戶端連線叢集。
[root@localhost redis-cluster]# redis01/redis-cli -p 7002 -c
-c:代表連線的是redis叢集
也可以使用Redis Desktop Manager 視覺化客戶端進行管理。
Java客戶端連線redis(Jedis)
需要把jedis依賴的jar包新增到工程中。
Maven工程中需要把jedis的座標新增到依賴。
<!-- Redis客戶端 -->
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>2.7.2</version>
</dependency>
推薦新增到服務層。xxxx-Service工程中。
連線單機版
第一步:建立一個Jedis物件。需要指定服務端的ip及埠。
第二步:使用Jedis物件操作資料庫,每個redis命令對應一個方法。
第三步:列印結果。
第四步:關閉Jedis
@Test
public void testJedis() throws Exception {
// 第一步:建立一個Jedis物件。需要指定服務端的ip及埠。
Jedis jedis = new Jedis("192.168.25.162", 6379);
// 第二步:使用Jedis物件操作資料庫,每個redis命令對應一個方法。
jedis.set("test123", "my first jedis test");
String string = jedis.get("test123");
// 第三步:列印結果。
System.out.println(string);
// 第四步:關閉Jedis
jedis.close();
}
連線單機版使用連線池
第一步:建立一個JedisPool物件。需要指定服務端的ip及埠。
第二步:從JedisPool中獲得Jedis物件。
第三步:使用Jedis操作redis伺服器。
第四步:操作完畢後關閉jedis物件,連線池回收資源。
第五步:關閉JedisPool物件。
@Test
public void testJedisPool() throws Exception {
// 第一步:建立一個JedisPool物件。需要指定服務端的ip及埠。
JedisPool jedisPool = new JedisPool("192.168.25.153", 6379);
// 第二步:從JedisPool中獲得Jedis物件。
Jedis jedis = jedisPool.getResource();
// 第三步:使用Jedis操作redis伺服器。
jedis.set("jedis", "test");
String result = jedis.get("jedis");
System.out.println(result);
// 第四步:操作完畢後關閉jedis物件,連線池回收資源。
jedis.close();
// 第五步:關閉JedisPool物件。
jedisPool.close();
}
連線叢集版
第一步:使用JedisCluster物件。需要一個Set引數。Redis節點的列表。
第二步:直接使用JedisCluster物件操作redis。在系統中單例存在。
第三步:列印結果
第四步:系統關閉前,關閉JedisCluster物件。
@Test
public void testJedisCluster() throws Exception {
// 第一步:使用JedisCluster物件。需要一個Set<HostAndPort>引數。Redis節點的列表。
Set<HostAndPort> nodes = new HashSet<>();
nodes.add(new HostAndPort("192.168.25.153", 7001));
nodes.add(new HostAndPort("192.168.25.153", 7002));
nodes.add(new HostAndPort("192.168.25.153", 7003));
nodes.add(new HostAndPort("192.168.25.153", 7004));
nodes.add(new HostAndPort("192.168.25.153", 7005));
nodes.add(new HostAndPort("192.168.25.153", 7006));
JedisCluster jedisCluster = new JedisCluster(nodes);
// 第二步:直接使用JedisCluster物件操作redis。在系統中單例存在。
jedisCluster.set("hello", "100");
String result = jedisCluster.get("hello");
// 第三步:列印結果
System.out.println(result);
// 第四步:系統關閉前,關閉JedisCluster物件。
jedisCluster.close();
}
業務邏輯中新增快取
介面封裝
常用的操作redis的方法提取出一個介面,分別對應單機版和叢集版建立兩個實現類。開發中,我們都是使用單機版,測試再到叢集中測試。
介面定義
public interface JedisClient {
String set(String key, String value);
String get(String key);
Boolean exists(String key);
Long expire(String key, int seconds);
Long ttl(String key);
Long incr(String key);
Long hset(String key, String field, String value);
String hget(String key, String field);
Long hdel(String key, String... field);
}
單機版實現類
public class JedisClientPool implements JedisClient {
@Autowired
private JedisPool jedisPool;
@Override
public String set(String key, String value) {
Jedis jedis = jedisPool.getResource();
String result = jedis.set(key, value);
jedis.close();
return result;
}
@Override
public String get(String key) {
Jedis jedis = jedisPool.getResource();
String result = jedis.get(key);
jedis.close();
return result;
}
@Override
public Boolean exists(String key) {
Jedis jedis = jedisPool.getResource();
Boolean result = jedis.exists(key);
jedis.close();
return result;
}
@Override
public Long expire(String key, int seconds) {
Jedis jedis = jedisPool.getResource();
Long result = jedis.expire(key, seconds);
jedis.close();
return result;
}
@Override
public Long ttl(String key) {
Jedis jedis = jedisPool.getResource();
Long result = jedis.ttl(key);
jedis.close();
return result;
}
@Override
public Long incr(String key) {
Jedis jedis = jedisPool.getResource();
Long result = jedis.incr(key);
jedis.close();
return result;
}
@Override
public Long hset(String key, String field, String value) {
Jedis jedis = jedisPool.getResource();
Long result = jedis.hset(key, field, value);
jedis.close();
return result;
}
@Override
public String hget(String key, String field) {
Jedis jedis = jedisPool.getResource();
String result = jedis.hget(key, field);
jedis.close();
return result;
}
@Override
public Long hdel(String key, String... field) {
Jedis jedis = jedisPool.getResource();
Long result = jedis.hdel(key, field);
jedis.close();
return result;
}
}
配置:applicationContext-redis.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:context="http://www.springframework.org/schema/context" xmlns:p="http://www.springframework.org/schema/p"
xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans4.2.xsd
http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context4.2.xsd
http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop4.2.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx4.2.xsd
http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util4.2.xsd">
<!-- 配置單機版的連線 -->
<bean id="jedisPool" class="redis.clients.jedis.JedisPool">
<constructor-arg name="host" value="192.168.25.153"></constructor-arg>
<constructor-arg name="port" value="6379"></constructor-arg>
</bean>
<bean id="jedisClientPool" class="cn.jedis.JedisClientPool"/>
</beans>
叢集版實現類
package cn.e3mall.jedis;
import org.springframework.beans.factory.annotation.Autowired;
import redis.clients.jedis.JedisCluster;
public class JedisClientCluster implements JedisClient {
@Autowired
private JedisCluster jedisCluster;
@Override
public String set(String key, String value) {
return jedisCluster.set(key, value);
}
@Override
public String get(String key) {
return jedisCluster.get(key);
}
@Override
public Boolean exists(String key) {
return jedisCluster.exists(key);
}
@Override
public Long expire(String key, int seconds) {
return jedisCluster.expire(key, seconds);
}
@Override
public Long ttl(String key) {
return jedisCluster.ttl(key);
}
@Override
public Long incr(String key) {
return jedisCluster.incr(key);
}
@Override
public Long hset(String key, String field, String value) {
return jedisCluster.hset(key, field, value);
}
@Override
public String hget(String key, String field) {
return jedisCluster.hget(key, field);
}
@Override
public Long hdel(String key, String... field) {
return jedisCluster.hdel(key, field);
}
}
Spring的配置:
<!-- 叢集版的配置 -->
<bean id="jedisCluster" class="redis.clients.jedis.JedisCluster">
<constructor-arg>
<set>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="192.168.25.153"></constructor-arg>
<constructor-arg name="port" value="7001"></constructor-arg>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="192.168.25.153"></constructor-arg>
<constructor-arg name="port" value="7002"></constructor-arg>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="192.168.25.153"></constructor-arg>
<constructor-arg name="port" value="7003"></constructor-arg>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="192.168.25.153"></constructor-arg>
<constructor-arg name="port" value="7004"></constructor-arg>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="192.168.25.153"></constructor-arg>
<constructor-arg name="port" value="7005"></constructor-arg>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="192.168.25.153"></constructor-arg>
<constructor-arg name="port" value="7006"></constructor-arg>
</bean>
</set>
</constructor-arg>
</bean>
<bean id="jedisClientCluster" class="cn.e3mall.jedis.JedisClientCluster"/>
注意:
單機版和叢集版不能共存,使用單機版時註釋叢集版的配置。使用叢集版,把單機版註釋。
封裝程式碼測試
@Test
public void testJedisClient() throws Exception {
//初始化Spring容器
ApplicationContext applicationContext = new ClassPathXmlApplicationContext("classpath: