基於Redis的INCR實現一個限流器
模式:計數器
計數器是 Redis 的原子性自增操作可實現的最直觀的模式了,它的想法相當簡單:每當某個操作發生時,向 Redis 發送一個 INCR 命令。
比如在一個 web 應用程序中,如果想知道用戶在一年中每天的點擊量,那麽只要將用戶 ID 以及相關的日期信息作為鍵,並在每次用戶點擊頁面時,執行一次自增操作即可。
比如用戶名是 peter ,點擊時間是 2012 年 3 月 22 日,那麽執行命令 INCR peter::2012.3.22 。
可以用以下幾種方式擴展這個簡單的模式:
- 可以通過組合使用 INCR 和 EXPIRE ,來達到只在規定的生存時間內進行計數(counting)的目的。
- 客戶端可以通過使用 GETSET 命令原子性地獲取計數器的當前值並將計數器清零,更多信息請參考 GETSET 命令。
- 使用其他自增/自減操作,比如 DECR 和 INCRBY ,用戶可以通過執行不同的操作增加或減少計數器的值,比如在遊戲中的記分器就可能用到這些命令。
模式:限速器
限速器是特殊化的計算器,它用於限制一個操作可以被執行的速率(rate)。
限速器的典型用法是限制公開 API 的請求次數,以下是一個限速器實現示例,它將 API 的最大請求數限制在每個 IP 地址每秒鐘十個之內:
FUNCTION LIMIT_API_CALL(ip) ts = CURRENT_UNIX_TIME() keyname = ip+":"+ts current = GET(keyname) IF current != NULL AND current > 10 THEN ERROR "too many requests per second" END IF current == NULL THEN MULTI INCR(keyname, 1) EXPIRE(keyname, 1) EXEC ELSE INCR(keyname, 1) END PERFORM_API_CALL()
這個實現每秒鐘為每個 IP 地址使用一個不同的計數器,並用 EXPIRE 命令設置生存時間(這樣 Redis 就會負責自動刪除過期的計數器)。
註意,我們使用事務打包執行 INCR 命令和 EXPIRE 命令,避免引入競爭條件,保證每次調用 API 時都可以正確地對計數器進行自增操作並設置生存時間。
以下是另一個限速器實現:
FUNCTION LIMIT_API_CALL(ip): current = GET(ip) IF current != NULL AND current > 10 THEN ERROR "too many requests per second" ELSE value = INCR(ip) IF value == 1 THEN EXPIRE(ip,1) END PERFORM_API_CALL() END
這個限速器只使用單個計數器,它的生存時間為一秒鐘,如果在一秒鐘內,這個計數器的值大於 10 的話,那麽訪問就會被禁止。
這個新的限速器在思路方面是沒有問題的,但它在實現方面不夠嚴謹,如果我們仔細觀察一下的話,就會發現在 INCR 和 EXPIRE 之間存在著一個競爭條件,假如客戶端在執行 INCR 之後,因為某些原因(比如客戶端失敗)而忘記設置 EXPIRE 的話,那麽這個計數器就會一直存在下去,造成每個用戶只能訪問 10 次,噢,這簡直是個災難!
要消滅這個實現中的競爭條件,我們可以將它轉化為一個 Lua 腳本,並放到 Redis 中運行(這個方法僅限於 Redis 2.6 及以上的版本):
local current current = redis.call("incr",KEYS[1]) if tonumber(current) == 1 then redis.call("expire",KEYS[1],1) end
通過將計數器作為腳本放到 Redis 上運行,我們保證了 INCR 和 EXPIRE 兩個操作的原子性,現在這個腳本實現不會引入競爭條件,它可以運作的很好。
關於在 Redis 中運行 Lua 腳本的更多信息,請參考 EVAL 命令。
還有另一種消滅競爭條件的方法,就是使用 Redis 的列表結構來代替 INCR 命令,這個方法無須腳本支持,因此它在 Redis 2.6 以下的版本也可以運行得很好:
FUNCTION LIMIT_API_CALL(ip) current = LLEN(ip) IF current > 10 THEN ERROR "too many requests per second" ELSE IF EXISTS(ip) == FALSE MULTI RPUSH(ip,ip) EXPIRE(ip,1) EXEC ELSE RPUSHX(ip,ip) END PERFORM_API_CALL() END
新的限速器使用了列表結構作為容器, LLEN 用於對訪問次數進行檢查,一個事務包裹著 RPUSH 和 EXPIRE 兩個命令,用於在第一次執行計數時創建列表,並正確設置地設置過期時間,最後, RPUSHX 在後續的計數操作中進行增加操作。
基於Redis的INCR實現一個限流器