使用Redis管道提升性能
阿新 • • 發佈:2018-12-11
soc 種子 variable art href 操作數 blank star each
Redis 的 管道 (pipelining)是用來打包多條無關命令批量執行,以減少多個命令分別執行帶來的網絡交互時間。在一些批量操作數據的場景,使用管道可以顯著提升 Redis 的讀寫性能。
原理演示
Redis 的管道實質就是命令打包批量執行,多次網絡交互減少到單次。使用管道和不使用管道時的交互過程如下:
我們使用 nc 命令來直觀感受下 Redis 管道的使用過程:
# 安裝nc命令
$ yum install nc
# nc打包多個命令
$ (printf "PING\r\nPING\r\nPING\r\n") | nc localhost 6379
# 響應
+PONG
+PONG
+PONG
因此,只要通過管道進行命令打包後,Redis 就可以批量返回命令的執行結果了。
管道的應用
首先,構造示例需要的 Hash 用戶數據:
$keyPrex = ‘user:hash:u:‘;
for ($i=1; $i<=10000; $i++) {
$redis->hMset($keyPrex.$i, [
‘name‘ => name(), //name()函數生成隨機姓名
‘age‘ => rand(21, 30),
‘sex‘ => rand(0, 1),
‘is_new‘ => rand(0, 1)
]);
}
然後,查看導入 Redis 中的數據:
127.0.0.1:6379> keys user:hash:u:*
9997) "user:hash:u:3013"
9998) "user:hash:u:8971"
9999) "user:hash:u:4761"
10000) "user:hash:u:1828"
127.0.0.1:6379> HGETALL user:hash:u:1828
1) "name"
2) "ggrg"
3) "age"
4) "23"
5) "sex"
6) "0"
7) "is_new"
8) "1"
需求
在某個社交活動中,通過一系列篩選邏輯後取得種子用戶 uid,然後用這些 uid 去 Hash 獲取用戶的信息。這種情況下你會怎麽來處理呢?
不使用管道
一般情況下,在數據量較小時,我們會直接使用 HGETALL 命令遍歷地獲取用戶數據。
$start = nowTime();
foreach (range(1, 1000) as $id) {
$user[] = $redis->hgetAll($keyPrex.$id);
}
echo ‘時間:‘, nowTime() - $start, ‘ms‘, PHP_EOL;
時間:39ms
執行所用時間:39ms
使用管道
因為通過 uid 批量獲取用戶數據,各個命令並沒有依賴關系,所以可以使用 Redis 的管道來優化查詢。
$start = nowTime();
$redis->multi(Redis::PIPELINE);
foreach (range(1, 1000) as $id) {
//返回資源id相同的socket資源,並未執行命令
$redis->hgetAll($keyPrex.$id);
}
$user = $redis->exec();
echo ‘時間:‘, nowTime() - $start, ‘ms‘, PHP_EOL;
時間:6ms
使用管道後,執行時間顯著地減少為:6ms。使用 tcpdump 抓取打包後的命令如下:
10:45:03.029049 IP localhost.58176 > localhost.6379: Flags [P.], seq 2255478840:2255479211, ack 3144685411, win 342, options [nop,nop,TS val 17640474 ecr 17640474], length 371
E..../@[email protected][email protected].......
,.*2
$7
HGETALL
$13
user:hash:u:1
*2
$7
HGETALL
$13
user:hash:u:2
*2
$7
... ...
適用場景
在批量操作(查詢和寫入)數據時,我們應盡量避免多次跟 Redis 的網絡交互。這時,可以使用管道實現,也可以 Redis 內嵌 Lua 腳本實現。需要註意的是:
- 管道只適用於無因果關聯的多命令操作,否則就需要借助 Lua 腳本實現批量操作;
- 在實際應用中,Redis 往往不可能是單機部署,如果想要在集群中使用管道,可以部署為一主多從架構,此時所有節點的數據都一致,隨機選取節點使用管道即可;
總結
在批量獲取數據時,盡管使用 Redis 的管道性能會顯著提升,但是使用管道時 Redis 會緩存之前命令的結果,最後一並輸出給終端,因此所打包的命令不宜太多,否則內存使用會很嚴重。
使用Redis管道提升性能