Golang使用lua指令碼實現redis原子操作
目錄
- [redis 呼叫Lua指令碼](#redis 呼叫Lua指令碼)
- [redis+lua 實現評分排行榜實時更新](#redis+lua 實現評分排行榜實時更新)
[lua 指令碼](#lua 指令碼)
Golang呼叫redis+lua示例
byte切片與string的轉換優化
redis 呼叫Lua指令碼
EVAL命令
redis呼叫Lua指令碼需要使用EVAL命令。
redis EVAL命令格式：
redis 127.0.0.1:6379> EVAL script numkeys key [key ...] arg [arg ...]
最簡單的例子：
127.0.0.1:6379> eval "return {'Hello,GrassInWind!'}" 0
1) "Hello,GrassInWind!"
127.0.0.1:6379> eval "return redis.call('set',KEYS[1],'bar')" 1 foo
OK
使用redis-cli呼叫lua指令碼示例(若在windows系統下，則需要在git bash中執行，在powershell中無法讀取value)：
***@LAPTOP-V7V47H0L MINGW64 /d/study/code/lua $ redis-cli.exe -a 123 --eval test.lua testkey,hello hello
test.lua如下(redis log列印在server的日誌中)：
local key,value = KEYS[1],ARGV[1]
redis.log(redis.LOG_NOTICE,"key=",key,"value=",value)
redis.call('SET',value)
local a = redis.call('GET',key)
return a
SCRIPT命令
redis提供了以下幾個script命令，用於對於指令碼子系統進行控制：
script flush：清除所有的指令碼快取
script load：將指令碼裝入指令碼快取，不立即執行並返回其校驗和
script exists：根據指定指令碼校驗和，檢查指令碼是否存在於快取
script kill：殺死當前正在執行的指令碼（防止指令碼執行快取，佔用記憶體）
主要優勢： 減少網路開銷：多個請求通過指令碼一次傳送，減少網路延遲
原子操作：將指令碼作為一個整體執行，中間不會插入其他命令，無需使用事務
複用：客戶端傳送的指令碼永久存在redis中，其他客戶端可以複用指令碼
可嵌入性：可嵌入JAVA，C#等多種程式語言，支援不同作業系統跨平臺互動
通過script命令載入及執行lua指令碼示例：
127.0.0.1:6379> script load "return 'Hello GrassInWind'" "c66be1d9b54b3182f8d8e12f8b01a4e5c7c4af5b" 127.0.0.1:6379> script exists "c66be1d9b54b3182f8d8e12f8b01a4e5c7c4af5b" 1) (integer) 1 127.0.0.1:6379> evalsha "c66be1d9b54b3182f8d8e12f8b01a4e5c7c4af5b" 0 "Hello GrassInWind" 127.0.0.1:6379> script flush OK 127.0.0.1:6379> script exists "c66be1d9b54b3182f8d8e12f8b01a4e5c7c4af5b" 1) (integer) 0
#redis+lua 實現評分排行榜實時更新
使用redis的zset儲存排行資料，使用lua指令碼實現評分排行更新的原子操作。
lua 指令碼
相關redis命令： ZCARD key 獲取有序集合的成員數
ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT] 通過分數返回有序集合指定區間內的成員(從小到大的順序)
ZREMRANGEBYRANK key start stop 移除有序集合中給定的排名區間的所有成員
ZADD key score1 member1 [score2 member2] 向有序集合新增一個或多個成員，或者更新已存在成員的分數
主要思路是維護一個zset，將評分前N位儲存到redis中，當成員的評分發生變化時，動態更新zset的成員資訊。
lua指令碼如下，其中 KEYS[1]表示zset的key， ARGV[1]表示期望的zset最大儲存成員數量， ARGV[2]表示評分上限，預設評分下限是0， ARGV[3]表示待新增的評分， ARGV[4]表示待新增的成員名稱。
-- redis zset operations
-- argv[capacity maxScore newMemberScore member]
-- 執行示例 redis-cli.exe --eval zsetop.lua mtest,3 5 5 test1
-- 獲取鍵和引數
local key,cap,maxSetScore,newMemberScore,member = KEYS[1],ARGV[1],ARGV[2],ARGV[3],ARGV[4]
redis.log(redis.LOG_NOTICE,",cap=",maxSetScore=",newMemberScore=",member=",member)
local len = redis.call('zcard',key);
-- len need not nil,otherwise will occur "attempt to compare nil with number"
if len then
if tonumber(len) >= tonumber(cap)
then
local num = tonumber(len)-tonumber(cap)+1
local list = redis.call('zrangebyscore','limit',num)
redis.log(redis.LOG_NOTICE,"maxSetScore=","num=",num)
for k,lowestScoreMember in pairs(list) do
local lowestScore = redis.call('zscore',lowestScoreMember)
redis.log(redis.LOG_NOTICE,"list: ",lowestScore,lowestScoreMember)
if tonumber(newMemberScore) > tonumber(lowestScore)
then
local rank = redis.call('zrevrank',member)
-- rank is nil indicate new member is not exist in set,need remove the lowest score member
if not rank then
local index = tonumber(len) - tonumber(cap);
redis.call('zremrangebyrank',index)
end
redis.call('zadd',member);
break
end
end
else
redis.call('zadd',member);
end
end
Golang呼叫redis+lua示例
init函式中讀取Lua指令碼並通過redisgo包的NewScript函式載入這個指令碼，在使用時通過返回的指標呼叫lua.Do()即可。
func init() {
...
file,err := os.Open(zsetopFileName)
if err != nil {
panic("open"+zsetopFileName+" "+err.Error())
}
bytes,err := ioutil.ReadAll(file)
if err != nil {
panic(err.Error())
}
zsetopScript = utils.UnsafeBytesToString(bytes)
logs.Debug(zsetopScript)
lua =redis.NewScript(1,zsetopScript)
}
func ZaddWithCap(key,member string,score float32,maxScore,cap int) (reply interface{},err error) {
c := pool.Get()
//Do optimistically evaluates the script using the EVALSHA command. If script not exist,will use eval command.
reply,err= lua.Do(c,score,member)
return
}
redisgo包對Do方法做了優化，會檢查這個指令碼的SHA是否存在，若不存在，會通過EVAL命令執行即會載入指令碼，下次執行就可以通過
EVALSHA來執行了。
func (s *Script) Do(c Conn,keysAndArgs ...interface{}) (interface{},error) {
v,err := c.Do("EVALSHA",s.args(s.hash,keysAndArgs)...)
if e,ok := err.(Error); ok && strings.HasPrefix(string(e),"NOSCRIPT ") {
v,err = c.Do("EVAL",s.args(s.src,keysAndArgs)...)
}
return v,err
}
byte切片與string的轉換優化
在Go讀取了指令碼內容存在byte切片中，需要轉化為string來呼叫redis.NewScript來建立物件。
通過unsafe包轉化可以避免記憶體拷貝從而提高效率。
unsafe 包提供了 2 點重要的能力： 任何型別的指標和 unsafe.Pointer 可以相互轉換。 uintptr 型別和 unsafe.Pointer 可以相互轉換。
通過unsafe包將byte切片轉換為string示例：
func UnsafeBytesToString(bytes []byte) string {
hdr := &reflect.StringHeader{
Data: uintptr(unsafe.Pointer(&bytes[0])),Len: len(bytes),}
return *(*string)(unsafe.Pointer(hdr))
}
string與slice底層結構如下：
type SliceHeader struct {
Data uintptr
Len int
Cap int
}
type StringHeader struct {
Data uintptr
Len int
}
github連結
詳見https://github.com/GrassInWind2019/bookms
總結
到此這篇關於Golang使用lua指令碼實現redis原子操作的文章就介紹到這了,更多相關golang lua指令碼實現redis原子操作內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們！