1. 程式人生 > >使用Redis管道提升性能

使用Redis管道提升性能

soc 種子 variable art href 操作數 blank star each

Redis 的 管道 (pipelining)是用來打包多條無關命令批量執行,以減少多個命令分別執行帶來的網絡交互時間。在一些批量操作數據的場景,使用管道可以顯著提升 Redis 的讀寫性能。

原理演示

Redis 的管道實質就是命令打包批量執行,多次網絡交互減少到單次。使用管道和不使用管道時的交互過程如下:

技術分享圖片

我們使用 nc 命令來直觀感受下 Redis 管道的使用過程:

# 安裝nc命令
$ yum install nc
# nc打包多個命令
$ (printf "PING\r\nPING\r\nPING\r\n") | nc localhost 6379
# 響應
+PONG
+PONG
+PONG

因此,只要通過管道進行命令打包後,Redis 就可以批量返回命令的執行結果了。

管道的應用

首先,構造示例需要的 Hash 用戶數據:

$keyPrex = ‘user:hash:u:‘;
for ($i=1; $i<=10000; $i++) {
    $redis->hMset($keyPrex.$i, [
        ‘name‘   => name(),       //name()函數生成隨機姓名
        ‘age‘    => rand(21, 30),
        ‘sex‘    => rand(0, 1),
        ‘is_new‘ => rand(0, 1)
    ]);
}

然後,查看導入 Redis 中的數據:

127.0.0.1:6379> keys user:hash:u:*
 9997) "user:hash:u:3013"
 9998) "user:hash:u:8971"
 9999) "user:hash:u:4761"
10000) "user:hash:u:1828"

127.0.0.1:6379> HGETALL user:hash:u:1828
1) "name"
2) "ggrg"
3) "age"
4) "23"
5) "sex"
6) "0"
7) "is_new"
8) "1"

需求

在某個社交活動中,通過一系列篩選邏輯後取得種子用戶 uid,然後用這些 uid 去 Hash 獲取用戶的信息。這種情況下你會怎麽來處理呢?

不使用管道

一般情況下,在數據量較小時,我們會直接使用 HGETALL 命令遍歷地獲取用戶數據。

$start = nowTime();
foreach (range(1, 1000) as $id) {
    $user[] = $redis->hgetAll($keyPrex.$id);
}
echo ‘時間:‘, nowTime() - $start, ‘ms‘, PHP_EOL;

時間:39ms

執行所用時間:39ms

使用管道

因為通過 uid 批量獲取用戶數據,各個命令並沒有依賴關系,所以可以使用 Redis 的管道來優化查詢。

$start = nowTime();
$redis->multi(Redis::PIPELINE);
foreach (range(1, 1000) as $id) {
    //返回資源id相同的socket資源,並未執行命令
    $redis->hgetAll($keyPrex.$id);  
}
$user = $redis->exec();
echo ‘時間:‘, nowTime() - $start, ‘ms‘, PHP_EOL;

時間:6ms

使用管道後,執行時間顯著地減少為:6ms。使用 tcpdump 抓取打包後的命令如下:

10:45:03.029049 IP localhost.58176 > localhost.6379: Flags [P.], seq 2255478840:2255479211, ack 3144685411, win 342, options [nop,nop,TS val 17640474 ecr 17640474], length 371
E..../@[email protected][email protected].......
,.*2
$7
HGETALL
$13
user:hash:u:1
*2
$7
HGETALL
$13
user:hash:u:2
*2
$7
... ...

適用場景

在批量操作(查詢和寫入)數據時,我們應盡量避免多次跟 Redis 的網絡交互。這時,可以使用管道實現,也可以 Redis 內嵌 Lua 腳本實現。需要註意的是

  • 管道只適用於無因果關聯的多命令操作,否則就需要借助 Lua 腳本實現批量操作;
  • 在實際應用中,Redis 往往不可能是單機部署,如果想要在集群中使用管道,可以部署為一主多從架構,此時所有節點的數據都一致,隨機選取節點使用管道即可;

總結

在批量獲取數據時,盡管使用 Redis 的管道性能會顯著提升,但是使用管道時 Redis 會緩存之前命令的結果,最後一並輸出給終端,因此所打包的命令不宜太多,否則內存使用會很嚴重。

使用Redis管道提升性能