1. 程式人生 > >如何訪問redis中的海量資料?避免事故產生

如何訪問redis中的海量資料?避免事故產生

前言

有時候我們需要知道線上的redis的使用情況,尤其需要知道一些字首的key值,讓我們怎麼去檢視呢?今天分享一個小知識點

事故產生

因為我們的使用者 token 快取是採用了【user_token:userid】格式的key,儲存使用者的token的值。我們運維為了幫助開發小夥伴們查一下線上現在有多少登入使用者。

直接用了keys user_token*方式進行查詢,事故就此發生了。導致redis不可用,假死。

分析原因

我們線上的登入使用者有幾百萬,資料量比較多;keys演算法是遍歷演算法,複雜度是O(n),也就是資料越多,時間複雜度越高。

資料量達到幾百萬,#keys這個指令就會導致 Redis 服務卡頓,因為 Redis 是單執行緒程式,順序執行所有指令,其它指令必須等到當前的 keys 指令執行完了才可以繼續

解決方案

那我們如何去遍歷大資料量呢?這個也是面試經常問的。我們可以採用redis的另一個命令scan。我們看一下scan的特點

1、複雜度雖然也是 O(n) ,但是它是通過遊標分步進行的,不會阻塞執行緒

2、提供 count 引數,不是結果數量,是redis單次遍歷字典槽位數量(約等於)

3、同 keys 一樣,它也提供模式匹配功能;

4、伺服器不需要為遊標儲存狀態,遊標的唯一狀態就是 scan 返回給客戶端的遊標整數 ;

5、返回的結果 可能會有重複,需要客戶端去重複,這點非常重要;

6、單次返回的結果是空的並不意味著遍歷結束,而要看返回的遊標值是否為零。

一、scan命令格式

SCAN cursor [MATCH pattern] [COUNT count]

二、命令解釋:scan 遊標 MATCH <返回和給定模式相匹配的元素> count 每次迭代所返回的元素數量

SCAN命令是 增量的迴圈 ,每次呼叫只會返回一小部分的元素 。所以不會讓redis假死 SCAN命令返回的是一個遊標, 從0開始遍歷,到0結束遍歷

三、舉例

redis > scan 0 match user_token* count 5
 1) "6"
 2) 1) "user_token:1000"
 2) "user_token:1001"
 3) "user_token:1010"
 4) "user_token:2300"
 5) "user_token:1389"

從0開始遍歷,返回了遊標6,又返回了資料,繼續scan遍歷,就要從6開始

redis > scan 6 match user_token* count 5
 1) "10"
 2) 1) "user_token:3100"
 2) "user_token:1201"
 3) "user_token:1410"
 4) "user_token:5300"
 5) "user_token:3389"

總結

這個是面試經常會問到的,也是我們小夥伴在工作的過程經常用的,一般小公司,不會有什麼問題,但資料量多的時候,你的操作方式不對,你的績效就會被