1. 程式人生 > >基於Redis的INCR實現一個限流器

基於Redis的INCR實現一個限流器

spa 自減 簡單 onu intern rate 第一次 轉化 cti

模式:計數器

計數器是 Redis 的原子性自增操作可實現的最直觀的模式了,它的想法相當簡單:每當某個操作發生時,向 Redis 發送一個 INCR 命令。

比如在一個 web 應用程序中,如果想知道用戶在一年中每天的點擊量,那麽只要將用戶 ID 以及相關的日期信息作為鍵,並在每次用戶點擊頁面時,執行一次自增操作即可。

比如用戶名是 peter ,點擊時間是 2012 年 3 月 22 日,那麽執行命令 INCR peter::2012.3.22

可以用以下幾種方式擴展這個簡單的模式:

  • 可以通過組合使用 INCR 和 EXPIRE ,來達到只在規定的生存時間內進行計數(counting)的目的。
  • 客戶端可以通過使用 GETSET 命令原子性地獲取計數器的當前值並將計數器清零,更多信息請參考 GETSET 命令。
  • 使用其他自增/自減操作,比如 DECR 和 INCRBY ,用戶可以通過執行不同的操作增加或減少計數器的值,比如在遊戲中的記分器就可能用到這些命令。

模式:限速器

限速器是特殊化的計算器,它用於限制一個操作可以被執行的速率(rate)。

限速器的典型用法是限制公開 API 的請求次數,以下是一個限速器實現示例,它將 API 的最大請求數限制在每個 IP 地址每秒鐘十個之內:

FUNCTION LIMIT_API_CALL(ip)
ts = CURRENT_UNIX_TIME()
keyname = ip+":"+ts
current = GET(keyname)

IF current != NULL AND current > 10 THEN
    ERROR "too many requests per second"
END

IF current == NULL THEN
    MULTI
        INCR(keyname, 1)
        EXPIRE(keyname, 1)
    EXEC
ELSE
    INCR(keyname, 1)
END

PERFORM_API_CALL()

這個實現每秒鐘為每個 IP 地址使用一個不同的計數器,並用 EXPIRE 命令設置生存時間(這樣 Redis 就會負責自動刪除過期的計數器)。

註意,我們使用事務打包執行 INCR 命令和 EXPIRE 命令,避免引入競爭條件,保證每次調用 API 時都可以正確地對計數器進行自增操作並設置生存時間。

以下是另一個限速器實現:

FUNCTION LIMIT_API_CALL(ip):
current = GET(ip)
IF current != NULL AND current > 10 THEN
    ERROR "too many requests per second"
ELSE
    value = INCR(ip)
    IF value == 1 THEN
        EXPIRE(ip,1)
    END
    PERFORM_API_CALL()
END

這個限速器只使用單個計數器,它的生存時間為一秒鐘,如果在一秒鐘內,這個計數器的值大於 10 的話,那麽訪問就會被禁止。

這個新的限速器在思路方面是沒有問題的,但它在實現方面不夠嚴謹,如果我們仔細觀察一下的話,就會發現在 INCR 和 EXPIRE 之間存在著一個競爭條件,假如客戶端在執行 INCR 之後,因為某些原因(比如客戶端失敗)而忘記設置 EXPIRE 的話,那麽這個計數器就會一直存在下去,造成每個用戶只能訪問 10 次,噢,這簡直是個災難!

要消滅這個實現中的競爭條件,我們可以將它轉化為一個 Lua 腳本,並放到 Redis 中運行(這個方法僅限於 Redis 2.6 及以上的版本):

local current
current = redis.call("incr",KEYS[1])
if tonumber(current) == 1 then
    redis.call("expire",KEYS[1],1)
end

通過將計數器作為腳本放到 Redis 上運行,我們保證了 INCR 和 EXPIRE 兩個操作的原子性,現在這個腳本實現不會引入競爭條件,它可以運作的很好。

關於在 Redis 中運行 Lua 腳本的更多信息,請參考 EVAL 命令。

還有另一種消滅競爭條件的方法,就是使用 Redis 的列表結構來代替 INCR 命令,這個方法無須腳本支持,因此它在 Redis 2.6 以下的版本也可以運行得很好:

FUNCTION LIMIT_API_CALL(ip)
current = LLEN(ip)
IF current > 10 THEN
    ERROR "too many requests per second"
ELSE
    IF EXISTS(ip) == FALSE
        MULTI
            RPUSH(ip,ip)
            EXPIRE(ip,1)
        EXEC
    ELSE
        RPUSHX(ip,ip)
    END
    PERFORM_API_CALL()
END

新的限速器使用了列表結構作為容器, LLEN 用於對訪問次數進行檢查,一個事務包裹著 RPUSH 和 EXPIRE 兩個命令,用於在第一次執行計數時創建列表,並正確設置地設置過期時間,最後, RPUSHX 在後續的計數操作中進行增加操作。

基於Redis的INCR實現一個限流器