Steam新一週銷量榜：《戰神4》三連冠

阿新 • • 發佈：2022-02-01

Go語言操作Redis

在專案開發中redis的使用也比較頻繁，本文介紹了Go語言中go-redis庫的基本使用。

一、Redis介紹

Redis是一個開源的記憶體資料庫，Redis提供了多種不同型別的資料結構，很多業務場景下的問題都可以很自然地對映到這些資料結構上。除此之外，通過複製、持久化和客戶端分片等特性，我們可以很方便地將Redis擴充套件成一個能夠包含數百GB資料、每秒處理上百萬次請求的系統。

二、Redis支援的資料結構

Redis支援諸如字串（strings）、雜湊（hashes）、列表（lists）、集合（sets）、帶範圍查詢的排序集合（sorted sets）、點陣圖（bitmaps）、hyperloglogs、帶半徑查詢和流的地理空間索引等資料結構（geospatial indexes）。

三、Redis應用場景

快取系統，減輕主資料庫（MySQL）的壓力。
計數場景，比如微博、抖音中的關注數和粉絲數。
熱門排行榜，需要排序的場景特別適合使用ZSET。
利用LIST可以實現佇列的功能。

四、準備Redis環境

這裡直接使用Docker啟動一個redis環境，方便學習使用。

docker啟動一個名為redis507的5.0.7版本的redis server示例：

docker run --name redis507 -p 6379:6379 -d redis:5.0.7

注意：此處的版本、容器名和埠號請根據自己需要設定。

啟動一個redis-cli連線上面的redis server:

docker run -it --network host --rm redis:5.0.7 redis-cli

五、go-redis庫安裝

區別於另一個比較常用的Go語言redis client庫：redigo，我們這裡採用https://github.com/go-redis/redis連線Redis資料庫並進行操作，因為go-redis支援連線哨兵及叢集模式的Redis。

使用以下命令下載並安裝:

go get -u github.com/go-redis/redis

六、連線

6.1、普通連線

package main

import "github.com/go-redis/redis"

/*
@author RandySun
@create 2021-09-01-8:39
*/

var rdb *redis.Client

// 初始化連線
func ordinaryInitClient()(err error){
	rdb = redis.NewClient(&redis.Options{
		Addr: "127.0.0.1:6379",
		Password: "",
		DB: 3,

	})
	_, err = rdb.Ping().Result()
	if err != nil{
		return err
	}
	return nil
}


func main() {
	err := ordinaryInitClient()
	if err != nil{
		fmt.Println("連線redis failed:", err)
	}
	fmt.Println("連線redis success", rdb)
}

6.2、V8新版本相關

最新版本的go-redis庫的相關命令都需要傳遞context.Context引數，例如：

package main

import (
	"context"
	"fmt"
	"github.com/go-redis/redis/v8" // 注意匯入的是新版本
	"time"
)

/*
@author RandySun
@create 2021-09-01-8:53
*/
var rdb *redis.Client

// 初始化連線
func initClient() (err error) {
	rdb = redis.NewClient(&redis.Options{
		Addr: "127.0.0.1:6379",
		Password: "", // 密碼
		DB: 5, // 選擇連線的庫
		PoolSize: 100, //連線池大小
	})

	ctx, cancel  :=context.WithTimeout(context.Background(), 5*time.Second)
	defer cancel ()
	_, err = rdb.Ping(ctx).Result()
	return err
}


func v8Example(){
	ctx := context.Background()
	if err := initClient(); err != nil{
		return
	}
	err := rdb.Set(ctx, "name", "RandySun", 0).Err()
	if err != nil{
		panic(err)
	}
	val, err :=rdb.Get(ctx,"name").Result()
	if err != nil{
		panic(err)
	}
	fmt.Println("name", val)

	val2, err := rdb.Get(ctx, "key2").Result()
	if err == redis.Nil{
		fmt.Println("key2, does not exist")
	}else if err != nil{
		panic(err)
	}else {
		fmt.Println("key2", val2)
	}


}
func main() {
	
	v8Example()
}

6.3、連線Redis哨兵模式

func initClient()(err error){
	rdb := redis.NewFailoverClient(&redis.FailoverOptions{
		MasterName:    "master",
		SentinelAddrs: []string{"x.x.x.x:26379", "xx.xx.xx.xx:26379", "xxx.xxx.xxx.xxx:26379"},
	})
	_, err = rdb.Ping().Result()
	if err != nil {
		return err
	}
	return nil
}

6.4、連線Redis叢集

func initClient()(err error){
	rdb := redis.NewClusterClient(&redis.ClusterOptions{
		Addrs: []string{":7000", ":7001", ":7002", ":7003", ":7004", ":7005"},
	})
	_, err = rdb.Ping().Result()
	if err != nil {
		return err
	}
	return nil
}

七、基本使用

7.1、set/get示例

package main

import (
	"context"
	"fmt"
	"github.com/go-redis/redis/v8" // 注意匯入的是新版本

)
/*
@author RandySun
@create 2021-09-02-8:21
*/

func setGetRedisDemo() {
	ctx := context.Background()

	err := rdb.Set(ctx, "score", 100, 0).Err()
	if err != nil{
		fmt.Printf("set score failed, err: %v\n", err)
	}

	val, err :=rdb.Get(ctx,"sscore").Result()
	if err != nil{
		fmt.Printf("get score failed, err: %v\n", err)

	}
	fmt.Println("score", val)

	val2, err := rdb.Get(ctx, "name").Result()
	if err == redis.Nil {
		fmt.Println("name does not exist")
	} else if err != nil {
		fmt.Printf("get name failed, err:%v\n", err)
		return
	} else {
		fmt.Println("name", val2)
	}
}



func main() {
	err := initClient()
	if err != nil{
		fmt.Println("連線redis failed:", err)
	}
	fmt.Println("連線redis success", rdb)
	setGetRedisDemo()

}

連線redis success Redis<127.0.0.1:6379 db:5>
get score failed, err: redis: nil
score
name RandySun

7.2、zset示例

package main

/*
@author RandySun
@create 2021-09-03-8:39
*/
import (
	"context"
	"fmt"
	"github.com/go-redis/redis/v8" // 注意匯入的是新版本

)
func zsetRedisDemo() {

	zsetKey := "language_rank"
	languages := []*redis.Z{
	&redis.Z{Score: 90.0, Member: "Golang"},
	&redis.Z{Score: 98.0, Member: "Java"},
	&redis.Z{Score: 95.0, Member: "Python"},
	&redis.Z{Score: 97.0, Member: "JavaScript"},
	&redis.Z{Score: 99.0, Member: "C/C++"},
	}
	ctx := context.Background()

	// ZADD
	num, err := rdb.ZAdd(ctx,zsetKey, languages...).Result()
	if err != nil {
		fmt.Printf("zadd failed, err:%v\n", err)
		return
	}
	fmt.Printf("zadd %d succ.\n", num)


	// 把Golang的分數加10
	newScore, err := rdb.ZIncrBy(ctx, zsetKey, 10.0, "Golang").Result()
	if err != nil {
		fmt.Printf("zincrby failed, err:%v\n", err)
		return
	}

	fmt.Printf("Golang's score is %f now.\n", newScore)

	// 取分數最高的3個
	ret, err := rdb.ZRevRangeWithScores(ctx, zsetKey, 0, 2).Result()
	if err != nil {
		fmt.Printf("zrevrange failed, err:%v\n", err)
		return
	}
	for _, z := range ret {
		fmt.Println("取分數最高的3個",z.Member, z.Score)
	}

	// 取95~100分的
	op := &redis.ZRangeBy{
		Min: "95",
		Max: "100",
	}
	ret, err = rdb.ZRangeByScoreWithScores(ctx, zsetKey, op).Result()
	if err != nil {
		fmt.Printf("zrangebyscore failed, err:%v\n", err)
		return
	}
	for _, z := range ret {
		fmt.Println("取95~100分的:",z.Member, z.Score)
	}
}


func main() {
	err := initClient()
	if err != nil{
		fmt.Println("連線redis failed:", err)
	}
	fmt.Println("連線redis success", rdb)
	zsetRedisDemo()

}

輸出結果如下：

連線redis success Redis<127.0.0.1:6379 db:5>
zadd 0 succ.
Golang's score is 100.000000 now.
取分數最高的3個 Golang 100
取分數最高的3個 C/C++ 99
取分數最高的3個 Java 98
取95~100分的: Python 95
取95~100分的: JavaScript 97
取95~100分的: Java 98
取95~100分的: C/C++ 99
取95~100分的: Golang 100

7.3、根據字首獲取Key

vals, err := rdb.Keys(ctx, "prefix*").Result()

7.4、執行自定義命令

res, err := rdb.Do(ctx, "set", "key", "value").Result()

7.5、按萬用字元刪除key

當萬用字元匹配的key的數量不多時，可以使用Keys()得到所有的key在使用Del命令刪除。如果key的數量非常多的時候，我們可以搭配使用Scan命令和Del命令完成刪除。

package main

/*
@author RandySun
@create 2021-09-03-9:02
*/
import (
	"context"
	"fmt"
	//"github.com/go-redis/redis/v8" // 注意匯入的是新版本

)
func deleteKeysRedisDemo()  {
	ctx := context.Background()

	vals, err := rdb.Keys(ctx, "na*").Result()
	if err != nil {
		fmt.Printf("get keys failed, err:%v\n", err)
		return
	}
	fmt.Println("根據萬用字元獲取key前:", vals)

	iter := rdb.Scan(ctx, 0, "na*", 0).Iterator()
	for iter.Next(ctx) {
		fmt.Println("刪除key: ", iter.Val())

		err := rdb.Del(ctx, iter.Val()).Err()
		if err != nil {
			panic(err)
		}
	}
	if err := iter.Err(); err != nil {
		panic(err)
	}
	vals2, err := rdb.Keys(ctx, "na*").Result()
	if err != nil {
		fmt.Printf("get keys failed, err:%v\n", err)
		return
	}
	fmt.Println("根據萬用字元刪除key後:", vals2)
}

func main() {
	err := initClient()
	if err != nil{
		fmt.Println("連線redis failed:", err)
	}
	fmt.Println("連線redis success", rdb)
	deleteKeysRedisDemo()

}

連線redis success Redis<127.0.0.1:6379 db:5>
根據萬用字元獲取key前: [name]
刪除key: name
根據萬用字元刪除key後: []

八、Pipeline

Pipeline 主要是一種網路優化。它本質上意味著客戶端緩衝一堆命令並一次性將它們傳送到伺服器。這些命令不能保證在事務中執行。這樣做的好處是節省了每個命令的網路往返時間（RTT）。

Pipeline 基本示例如下：

package main

import (
	"context"
	"fmt"
	"github.com/go-redis/redis/v8"
	"time"
)

/*
@author RandySun
@create 2021-09-03-21:37
*/
func pipelineRedisDemo() {
	ctx := context.Background()
	pipe := rdb.Pipeline()
	incr := pipe.Incr(ctx, "pipeline_counter")
	pipe.Expire(ctx, "pipeline_counter", time.Hour)
	_, err := pipe.Exec(ctx)
	fmt.Println(incr.Val(), err)

}

func pipelinedRedisDemo() {
	var incr *redis.IntCmd
	ctx := context.Background()
	_, err := rdb.Pipelined(ctx, func(pipe redis.Pipeliner) error {
		incr = pipe.Incr(ctx,"pipeline_counter")
		pipe.Expire(ctx, "pipeline_counter", time.Hour)
		return nil
	})

	fmt.Println(incr.Val(), err)
}

func main() {
	err := initClient()
	if err != nil{
		fmt.Println("連線redis failed:", err)
	}
	fmt.Println("連線redis success", rdb)
	pipelineRedisDemo()
	pipelinedRedisDemo()

}

3
4

上面的程式碼相當於將以下兩個命令一次發給redis server端執行，與不使用Pipeline相比能減少一次RTT。

INCR pipeline_counter
EXPIRE pipeline_counts 3600

也可以使用Pipelined：

var incr *redis.IntCmd
_, err := rdb.Pipelined(func(pipe redis.Pipeliner) error {
	incr = pipe.Incr("pipelined_counter")
	pipe.Expire("pipelined_counter", time.Hour)
	return nil
})
fmt.Println(incr.Val(), err)

在某些場景下，當我們有多條命令要執行時，就可以考慮使用pipeline來優化。

九、事務

Redis是單執行緒的，因此單個命令始終是原子的，但是來自不同客戶端的兩個給定命令可以依次執行，例如在它們之間交替執行。但是，Multi/exec能夠確保在multi/exec兩個語句之間的命令之間沒有其他客戶端正在執行命令。

在這種場景我們需要使用TxPipeline。TxPipeline總體上類似於上面的Pipeline，但是它內部會使用MULTI/EXEC包裹排隊的命令。例如：

pipe := rdb.TxPipeline()

incr := pipe.Incr("tx_pipeline_counter")
pipe.Expire("tx_pipeline_counter", time.Hour)

_, err := pipe.Exec()
fmt.Println(incr.Val(), err)

上面程式碼相當於在一個RTT下執行了下面的redis命令：

MULTI
INCR pipeline_counter
EXPIRE pipeline_counts 3600
EXEC

還有一個與上文類似的TxPipelined方法，使用方法如下：

var incr *redis.IntCmd
_, err := rdb.TxPipelined(func(pipe redis.Pipeliner) error {
	incr = pipe.Incr("tx_pipelined_counter")
	pipe.Expire("tx_pipelined_counter", time.Hour)
	return nil
})
fmt.Println(incr.Val(), err)

十、Watch

在某些場景下，我們除了要使用MULTI/EXEC命令外，還需要配合使用WATCH命令。在使用者使用WATCH命令監視某個鍵之後，直到該使用者執行EXEC命令的這段時間裡，如果有其他使用者搶先對被監視的鍵進行了替換、更新、刪除等操作，那麼當用戶嘗試執行EXEC的時候，事務將失敗並返回一個錯誤，使用者可以根據這個錯誤選擇重試事務或者放棄事務。

Watch(fn func(*Tx) error, keys ...string) error

Watch方法接收一個函式和一個或多個key作為引數。基本使用示例如下：

// 監視watch_count的值，並在值不變的前提下將其值+1
key := "watch_count"
err = client.Watch(func(tx *redis.Tx) error {
	n, err := tx.Get(key).Int()
	if err != nil && err != redis.Nil {
		return err
	}
	_, err = tx.Pipelined(func(pipe redis.Pipeliner) error {
        // 做交易操作
		pipe.Set(key, n+1, 0)
		return nil
	})
	return err
}, key)

最後看一個V8版本官方文件中使用GET和SET命令以事務方式遞增Key的值的示例，僅當Key的值不發生變化時提交一個事務。

func transactionDemo() {
	var (
		maxRetries   = 1000
		routineCount = 10
	)
	ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
	defer cancel()

	// Increment 使用GET和SET命令以事務方式遞增Key的值
	increment := func(key string) error {
		// 事務函式
		txf := func(tx *redis.Tx) error {
			// 獲得key的當前值或零值
			n, err := tx.Get(ctx, key).Int()
			if err != nil && err != redis.Nil {
				return err
			}

			// 實際的操作程式碼（樂觀鎖定中的本地操作）
			n++

			// 操作僅在 Watch 的 Key 沒發生變化的情況下提交
			_, err = tx.TxPipelined(ctx, func(pipe redis.Pipeliner) error {
				pipe.Set(ctx, key, n, 0)
				return nil
			})
			return err
		}

		// 最多重試 maxRetries 次
		for i := 0; i < maxRetries; i++ {
			err := rdb.Watch(ctx, txf, key)
			if err == nil {
				// 成功
				return nil
			}
			if err == redis.TxFailedErr {
				// 樂觀鎖丟失 重試
				continue
			}
			// 返回其他的錯誤
			return err
		}

		return errors.New("increment reached maximum number of retries")
	}

	// 模擬 routineCount 個併發同時去修改 counter3 的值
	var wg sync.WaitGroup
	wg.Add(routineCount)
	for i := 0; i < routineCount; i++ {
		go func() {
			defer wg.Done()
			if err := increment("counter3"); err != nil {
				fmt.Println("increment error:", err)
			}
		}()
	}
	wg.Wait()

	n, err := rdb.Get(context.TODO(), "counter3").Int()
	fmt.Println("ended with", n, err)
}

更多詳情請查閱文件。

在當下的階段，必將由程式設計師來主導，甚至比以往更甚。