1. 程式人生 > 實用技巧 >Redis存放日誌及熱門文章

Redis存放日誌及熱門文章

使用Redis的列表資料型別可以實現多種資料結構,可以將它看做php中的索引陣列。它可以實現棧、佇列、訊息佇列的多種資料結構。

今天,和大家介紹下,如何使用redis來儲存系統日誌及熱門文章列表。

存放日誌

大家知道,nginx日誌預設不會自動切割,它會一直存放一個檔案中,一直追加寫入,需要我們自己做切割日誌的操作。

除了nginx外,很多地方都有用到日誌。出了問題後,日誌是我們是我們查詢線索的主要途徑之一。

我們現在打算將系統的日誌寫入到redis中,每天的日誌都記錄到一個list列表中,可以防止單個日誌檔案過大。

基本思路是,每天的日誌資訊都寫入到單獨的list列表中,然後做定時任務,定時任務的功能是取出1個月前的日誌列表,將其持久化到文字檔案中,然後刪除redis中1個月前的日誌列表,防止redis佔用過多記憶體。

可以使用壓縮函式將日誌資訊壓縮,減少記憶體佔用。另外,再維護一個列表存日誌列表的鍵名,方便取出日誌列表鍵名。存放日誌的虛擬碼如下:

$log = ... // 日誌資訊
// 日誌列表鍵名
$key = 'log:'.strtotime(date('Y-m-d'));

// 維護一個鍵名列表
if (!$redis->exists($key)) {
 $listlogkey = 'log:key';
 $redis->rpush($listlogkey, $key);
}

// 日誌資訊存放到redis中
$redis->rpush($key, $log);

定時任務程式碼如下:

$lastMonth = strtotime("-30 day"); while ($logkey = $redis->lpop('log:key')) { $logTime = explode(':', $logkey)[1]; if ($logTime < $lastMonth) { // 從日誌列表裡去日誌資訊,一次取50條 for ($start = 0, $end = 49;true;$start +=50, $end+=50) { $logs = $redis->lrange($logkey, $start
, $end); if (!$logs) break; // 將日誌資訊解壓縮,然後追加寫入文字檔案中 …… // 刪除該日誌列表 $redis->del($logkey); } } else { // 一個月之內的,重新push到左側 $redis->lpush('log:key', $logkey); exit; } }

這裡有幾點需要注意,如果持久化日誌失敗後,或者是近一個月內的日誌,需要重新將日誌列表鍵名從左側push。另外,從日誌列表裡取日誌時,不要一次性全部取出,這樣容易導致redis阻塞。每次,取一定數量(如50條),迴圈取出。

存放熱門新聞ID

這裡,就不貼程式碼了,主要講講思路。以前我弄個一個系統,有一個版單功能,有今日最熱、一週最熱、一月最熱。

當時,我們的網站流量還挺大的,過不了幾天,網站就掛了。原因是,mysql的慢查詢問題。

因為,這塊的sql有分組、COUNT()、條件判斷等。

和大家說說我們的解決方案:寫一個mysql的儲存過程,定時呼叫儲存過程。

該儲存過程的作用是,篩選出今日、一週、一月最熱文章,分別取100條文章id,將其文章id存放到redis的佇列中。最熱文章,我們只展示前100條。

這樣,我們的系統就沒有了慢查詢了。

連結:https://mp.weixin.qq.com/s/vQH35szbg3roADAxsVTijw