2. 程式人生 > >php 基於redis使用令牌桶演算法實現流量控制

php 基於redis使用令牌桶演算法實現流量控制

阿新 • • 發佈：2019-02-05

本文介紹php基於redis，使用令牌桶演算法，實現訪問流量的控制，提供完整演算法說明及演示例項，方便大家學習使用。


每當國內長假期或重要節日時，國內的景區或地鐵都會人山人海，導致負載過大，部分則會採用限流措施，限制進入的人數，當區內人數降低到一定值，再允許進入。

例如：
區內最大允許人數為 M
區內當前人數為 N
每進入一個人，N+1，當N = M時，則不允許進入
每離開一個人，N-1，當N < M時，可允許進入


系統在執行過程中，如遇上某些活動，訪問的人數會在一瞬間內爆增，導致伺服器瞬間壓力飆升，使系統超負荷工作。

當然我們可以增加伺服器去分擔壓力，首先增加伺服器也需要一定的時間去配置，而且因為某一個活動而增加伺服器，活動結束後這些伺服器資源就浪費了。

因此我們可以根據業務型別，先使用限流的方式去減輕伺服器壓力。

與景區限流不同，系統的訪問到結束的時間非常短，因此我們只需要知道每個訪問持續的平均時間，設定最多同時訪問的人數即可。

令牌桶演算法

1.首先設有一個令牌桶，桶記憶體放令牌，一開始令牌桶內的令牌是滿的（桶內令牌的數量可根據伺服器情況設定）。

2.每次訪問從桶內取走一個令牌，當桶內令牌為0，則不允許再訪問。

3.每隔一段時間，再放入令牌，最多使桶內令牌滿額。（可以根據實際情況，每隔一段時間放入若干個令牌，或直接補滿令牌桶）

我們可以使用redis的佇列作為令牌桶容器使用，使用lPush（入隊），rPop（出隊），實現令牌加入與消耗的操作。
 
TrafficShaper.class.php

<?php
/**
 * PHP基於Redis使用令牌桶演算法實現流量控制
 * Date:    2018-02-23
 * Author:  fdipzone
 * Version: 1.0
 *
 * Descripton:
 * php基於Redis使用令牌桶演算法實現流量控制，使用redis的佇列作為令牌桶容器，入隊（lPush）出隊（rPop)作為令牌的加入與消耗操作。
 *
 * Func:
 * public  add     加入令牌
 * public  get     獲取令牌
 * public  reset   重設令牌桶
 * private connect 建立redis連線
 */
 

class TrafficShaper{ // class start

    private $_config; // redis設定
    private $_redis;  // redis物件
    private $_queue;  // 令牌桶
    private $_max;    // 最大令牌數

    /**
     * 初始化
     * @param Array $config redis連線設定
     */
    public function __construct($config, $queue, $max){
        $this->_config = $config;
        $this->_queue = $queue;
        $this->_max = $max;
        $this->_redis = $this->connect();
    }

    /**
     * 加入令牌
     * @param  Int $num 加入的令牌數量
     * @return Int 加入的數量
     */
    public function add($num=0){

        // 當前剩餘令牌數
        $curnum = intval($this->_redis->lSize($this->_queue));

        // 最大令牌數
        $maxnum = intval($this->_max);

        // 計算最大可加入的令牌數量，不能超過最大令牌數
        $num = $maxnum>=$curnum+$num? $num : $maxnum-$curnum;

        // 加入令牌
        if($num>0){
            $token = array_fill(0, $num, 1);
            $this->_redis->lPush($this->_queue, ...$token);
            return $num;
        }

        return 0;

    }

    /**
     * 獲取令牌
     * @return Boolean
     */
    public function get(){
        return $this->_redis->rPop($this->_queue)? true : false;
    }

    /**
     * 重設令牌桶，填滿令牌
     */
    public function reset(){
        $this->_redis->delete($this->_queue);
        $this->add($this->_max);
    }

    /**
     * 建立redis連線
     * @return Link
     */
    private function connect(){
        try{
            $redis = new Redis();
            $redis->connect($this->_config['host'],$this->_config['port'],$this->_config['timeout'],$this->_config['reserved'],$this->_config['retry_interval']);
            if(empty($this->_config['auth'])){
                $redis->auth($this->_config['auth']);
            }
            $redis->select($this->_config['index']);
        }catch(RedisException $e){
            throw new Exception($e->getMessage());
            return false;
        }
        return $redis;
    }


} // class end
?>

demo:

<?php
/**
 * 演示令牌加入與消耗
 */
require 'TrafficShaper.class.php';

// redis連線設定
$config = array(
    'host' => 'localhost',
    'port' => 6379,
    'index' => 0,
    'auth' => '',
    'timeout' => 1,
    'reserved' => NULL,
    'retry_interval' => 100,
);

// 令牌桶容器
$queue = 'mycontainer';

// 最大令牌數
$max = 5;

// 建立TrafficShaper物件
$oTrafficShaper = new TrafficShaper($config, $queue, $max);

// 重設令牌桶，填滿令牌
$oTrafficShaper->reset();

// 迴圈獲取令牌，令牌桶內只有5個令牌，因此最後3次獲取失敗
for($i=0; $i<8; $i++){
    var_dump($oTrafficShaper->get());
}

// 加入10個令牌，最大令牌為5，因此只能加入5個
$add_num = $oTrafficShaper->add(10);

var_dump($add_num);

// 迴圈獲取令牌，令牌桶內只有5個令牌，因此最後1次獲取失敗
for($i=0; $i<6; $i++){
    var_dump($oTrafficShaper->get());
}

?>

輸出：

boolean true
boolean true
boolean true
boolean true
boolean true
boolean false
boolean false
boolean false
int 5
boolean true
boolean true
boolean true
boolean true
boolean true
boolean false

定期加入令牌演算法

定期加入令牌，我們可以使用crontab實現，每分鐘呼叫add方法加入若干令牌。crontab的使用可以參考：《Linux crontab定時執行任務 命令格式與詳細例子》

crontab最小的執行間隔為1分鐘，如果令牌桶內的令牌在前幾秒就已經被消耗完，那麼剩下的幾十秒時間內，都獲取不到令牌，導致使用者等待時間較長。

我們可以優化加入令牌的演算法，改為一分鐘內每若干秒加入若干令牌，這樣可以保證一分鐘內每段時間都有機會能獲取到令牌。
 
crontab呼叫的加入令牌程式如下，每秒自動加入3個令牌。

<?php
/**
 * 定時任務加入令牌
 */
require 'TrafficShaper.class.php';

// redis連線設定
$config = array(
    'host' => 'localhost',
    'port' => 6379,
    'index' => 0,
    'auth' => '',
    'timeout' => 1,
    'reserved' => NULL,
    'retry_interval' => 100,
);

// 令牌桶容器
$queue = 'mycontainer';

// 最大令牌數
$max = 10;

// 每次時間間隔加入的令牌數
$token_num = 3;

// 時間間隔，最好是能被60整除的數，保證覆蓋每一分鐘內所有的時間
$time_step = 1;

// 執行次數
$exec_num = (int)(60/$time_step);

// 建立TrafficShaper物件
$oTrafficShaper = new TrafficShaper($config, $queue, $max);

for($i=0; $i<$exec_num; $i++){
    $add_num = $oTrafficShaper->add($token_num);
    echo '['.date('Y-m-d H:i:s').'] add token num:'.$add_num.PHP_EOL;
    sleep($time_step);
}

?>

模擬消耗程式如下，每秒消耗2-8個令牌。

<?php
/**
 * 模擬使用者訪問消耗令牌，每段時間間隔消耗若干令牌
 */
require 'TrafficShaper.class.php';

// redis連線設定
$config = array(
    'host' => 'localhost',
    'port' => 6379,
    'index' => 0,
    'auth' => '',
    'timeout' => 1,
    'reserved' => NULL,
    'retry_interval' => 100,
);

// 令牌桶容器
$queue = 'mycontainer';

// 最大令牌數
$max = 10;

// 每次時間間隔隨機消耗的令牌數量範圍
$consume_token_range = array(2, 8);

// 時間間隔
$time_step = 1;

// 建立TrafficShaper物件
$oTrafficShaper = new TrafficShaper($config, $queue, $max);

// 重設令牌桶，填滿令牌
$oTrafficShaper->reset();

// 執行令牌消耗
while(true){
    $consume_num = mt_rand($consume_token_range[0], $consume_token_range[1]);
    for($i=0; $i<$consume_num; $i++){
        $status = $oTrafficShaper->get();
        echo '['.date('Y-m-d H:i:s').'] consume token:'.($status? 'true' : 'false').PHP_EOL;
    }
    sleep($time_step);
}

?>

演示

設定定時任務，每分鐘執行一次

* * * * * php /程式的路徑/cron_add.php >> /tmp/cron_add.log

執行模擬消耗

php consume_demo.php

執行結果：

[2018-02-23 11:42:57] consume token:true
[2018-02-23 11:42:57] consume token:true
[2018-02-23 11:42:57] consume token:true
[2018-02-23 11:42:57] consume token:true
[2018-02-23 11:42:57] consume token:true
[2018-02-23 11:42:57] consume token:true
[2018-02-23 11:42:57] consume token:true
[2018-02-23 11:42:58] consume token:true
[2018-02-23 11:42:58] consume token:true
[2018-02-23 11:42:58] consume token:true
[2018-02-23 11:42:58] consume token:true
[2018-02-23 11:42:58] consume token:true
[2018-02-23 11:42:58] consume token:true
[2018-02-23 11:42:58] consume token:false
[2018-02-23 11:42:59] consume token:true
[2018-02-23 11:42:59] consume token:true
[2018-02-23 11:42:59] consume token:true
[2018-02-23 11:42:59] consume token:false
[2018-02-23 11:42:59] consume token:false
[2018-02-23 11:42:59] consume token:false
[2018-02-23 11:42:59] consume token:false
[2018-02-23 11:43:00] consume token:true
[2018-02-23 11:43:00] consume token:true
[2018-02-23 11:43:00] consume token:true
[2018-02-23 11:43:00] consume token:false
[2018-02-23 11:43:00] consume token:false

因令牌桶一開始是滿的（最大令牌數10），所以之前的10次都能獲取到令牌，10次之後則會根據消耗的令牌大於加入令牌數時，限制訪問。


原始碼下載地址：點選下載

相關推薦

php 基於redis使用令牌桶演算法實現流量控制

本文介紹php基於redis，使用令牌桶演算法，實現訪問流量的控制，提供完整演算法說明及演示例項，方便大家學習使用。 每當國內長假期或重要節日時，國內的景區或地鐵都會人山人海，導致負載過大，部分則會採用限流措施，限制進入的人數，當區內人數降低到一定值，再允

python令牌桶演算法

import time class TokenBucket(object): # rate是令牌發放速度，capacity是桶的大小 def __init__(self, rate, capacity): self._rate = rate self

服務限流-令牌桶java實現

此文非常不錯，抄自： https://www.cnblogs.com/googlemeoften/p/6020718.html a. 按特定的速率向令牌桶投放令牌 b. 根據預設的匹配規則先對報文進行分類，不符合匹配規則的報文不需要經過令牌桶的處理，直接傳送； c. 符合匹配規則的

Token Bucket 令牌桶演算法

令牌桶演算法是網路流量整形（Traffic Shaping）和速率限制（Rate Limiting）中最常使用的一種演算法。典型情況下，令牌桶演算法用來控制傳送到網路上的資料的數目，並允許突發資料的傳送。 令牌桶這種控制機制基於令牌桶中是否存在令牌來指示什麼時候可以傳送流量。令牌桶中的每一個令牌

nginx 限流配置 令牌桶演算法 漏桶演算法

令牌桶演算法 演算法思想是： 令牌以固定速率產生，並快取到令牌桶中； 令牌桶放滿時，多餘的令牌被丟棄； 請求要消耗等比例的令牌才能被處理； 令牌不夠時，請求被快取。 漏桶演算法 演算法思想是： 水（請求）從上方倒入水桶，從水桶下方流出

令牌桶演算法總結

昨天CodeReview的時候看到同時使用RateLimiter這個類用作QPS訪問限制.學習一下這個類. RateLimiter是Guava的concurrent包下的一個用於限制訪問頻率的類. 1.限流 每個API介面都是有訪問上限的,當訪問頻率或者併發量超過其承受範圍時候,我們就必須考慮限流來

介面限流演算法：漏桶演算法&令牌桶演算法

工作中對外提供的API 介面設計都要考慮限流，如果不考慮限流，會成系統的連鎖反應，輕者響應緩慢，重者系統宕機，整個業務線崩潰，如何應對這種情況呢，我們可以對請求進行引流或者直接拒絕等操作，保持系統的可用性和穩定性，防止因流量暴增而導致的系統執行緩慢或宕機。 在

【本人禿頂程式設計師】介面限流演算法之漏桶演算法&令牌桶演算法

←←←←←←←←←←←← 快，點關注！ 工作中對外提供的API 介面設計都要考慮限流，如果不考慮限流，會成系統的連鎖反應，輕者響應緩慢，重者系統宕機，整個業務線崩潰，如何應對這種情況呢，我們可以對請求進行引流或者直接拒絕等操作，保持系統的可用性和穩定性，防止因流量暴增而導致的系統執行緩慢

關於Guava中令牌桶演算法RateLimiter的理解

      我們系統現在架構是收到mq訊息，先放到redis佇列，然後再從redis佇列取任務去消費，當上遊刷資料的時候，redis佇列任務就會非常多，這個時候我們在消費的時候既要考慮redis的穩定性，也要考慮呼叫下游資源所能提供資源能力。對於資源受限、處理能力不是很強的

Internet流量監管機制之漏桶演算法和令牌桶演算法

        漏桶演算法和令牌桶演算法都是為了限制應用無限制的向網路注入流量而設定的演算法。兩者看似區別不大，但是如果仔細來看，是有區別的：漏桶演算法只能把應用的輸出速率限定在一個固定的速度，但是令牌桶除了在把總的輸出速率限制在一定範圍內，還能容忍一定時間的高速率突發流量

令牌桶演算法限流

今天觀看QCon大會講述了阿里線上管控體系，其中主要使用了令牌桶演算法來實現限流的目的。表示非常好奇，故此學習一下什麼是令牌桶演算法。 1. 簡介 令牌桶演算法最初來源於計算機網路。在網路傳輸資料時，為了防止網路擁塞，需限制流出網路的流量，使流量以比較均勻的速度向外傳

令牌桶演算法和漏桶演算法以及流量控制淺談

 ​在雙十一等大促環節，系統需要限流，外部需要在我制定的速率限制來呼叫（超出的流量直接擋掉，系統不進行處理），有沒有理論依據呢？這裡看了兩個演算法 約定訪問速率是流量管理中比較常用的方法之一，令牌桶演算法，是目前最常用的流量限制的方法。     ​        

Guava學習計劃-Semaphore—RateLimiter-漏桶演算法-令牌桶演算法

java中對於生產者消費者模型，或者小米手機營銷 1分鐘賣多少臺手機等都存在限流的思想在裡面。 關於限流 目前存在兩大類，從執行緒個數（jdk1.5 Semaphore）和RateLimiter速率(guava) Semaphore：從執行緒個數限流 RateLimite

限流演算法之漏桶演算法、令牌桶演算法

昨天CodeReview的時候看到同時使用RateLimiter這個類用作QPS訪問限制.學習一下這個類. RateLimiter是Guava的concurrent包下的一個用於限制訪問頻率的類. 1.限流 每個API介面都是有訪問上限的,當訪問頻率或者併發量超過其承受

介面限流演算法：漏桶演算法和令牌桶演算法

漏桶演算法 漏桶可以看作是一個帶有常量服務時間的單伺服器佇列，如果漏桶（包快取）溢位，那麼資料包會被丟棄。這一點和執行緒池原理是很

基於漏桶(Leaky bucket)與令牌桶(Token bucket)演算法的流量控制也叫過載保護

基於漏桶(Leaky bucket)與令牌桶(Token bucket)演算法的流量控制 Congestion Control Algorithm，這是TCP裡的一個專業術語，擁塞控制演算法。說的也是流量控制類似的事。 老規矩，直接上圖。 先看看漏桶(Leaky bucke

redis+lua實現分散式令牌桶限流器

redis+lua分散式令牌桶限流器 使用redis執行lua指令碼，返回結果為0表示被限流，為1表示正常訪問。lua指令碼傳入的KEYS[1]為redis中配置限流器qps的map的key，KEYS[2]為限流器的key，KEY[3]為秒級時間戳；傳入的AR

基於令牌桶算法實現的SpringBoot無鎖限流插件

不可用 spec servlet shu cas 完美 foxmail 接口 RoCE 1.簡介 spring-boot-starter-current-limiting：完美嵌入SpringBoot應用的無鎖限流插件，支持方法級別、系統級別限流，支持設置系統啟動保護時間

Guava API中實現的令牌桶 RateLimiter

令牌桶演算法 ，Guava  提供了RateLimiter 可以實現令牌桶演算法的功能。在一定時間內，比如1S內產生N個令牌，獲得這些令牌的可以進行資源訪問。從而達到控制資源 訪問的目的。 public class GuavaRateLimiter { final RateLimite

限流演算法之令牌桶

一、令牌桶演算法和漏桶演算法1、漏桶演算法，有一個固定大小的桶，桶中的流量按照固定的速率流出，此時若有流量流入桶中，如果流入的速率比流出的速率大，則可能導致超過桶大小的流量溢位。2、令牌演算法，有一個固定大小的桶，按照一定的速率往桶中放入令牌，如果令牌超過桶大小則會溢位，此時