1. 程式人生 > >Redis-17Redis記憶體回收策略

Redis-17Redis記憶體回收策略

概述

Redi s 也會因為記憶體不足而產生錯誤 , 也可能因為回收過久而導致系統長期的停頓,因此掌握執行回收策略十分有必要。在 Redis 的配置檔案中,當 Redis 的記憶體達到規定的最大值時,允許配置 6 種策略中的一種進行淘汰鍵值,並且將一些鍵值對進行回收。

maxmemory-policy 引數

# Set a memory usage limit to the specified amount of bytes.
# When the memory limit is reached Redis will try to remove keys
# according to the eviction policy selected (
see maxmemory-policy). # # If Redis can't remove keys according to the policy, or if the policy is # set to 'noeviction', Redis will start to reply with errors to commands # that would use more memory, like SET, LPUSH, and so on, and will continue # to reply to read-only commands like GET. # # This option is usually useful when using Redis as an LRU or LFU cache,
or to # set a hard memory limit for an instance (using the 'noeviction' policy). # # WARNING: If you have slaves attached to an instance with maxmemory on, # the size of the output buffers needed to feed the slaves are subtracted # from the used memory count, so that network problems / resyncs will # not trigger a loop where keys are evicted,
and in turn the output # buffer of slaves is full with DELs of keys evicted triggering the deletion # of more keys, and so forth until the database is completely emptied. # # In short... if you have slaves attached it is suggested that you set a lower # limit for maxmemory so that there is some free RAM on the system for slave # output buffers (but this is not needed if the policy is 'noeviction'). # # maxmemory <bytes> # MAXMEMORY POLICY: how Redis will select what to remove when maxmemory # is reached. You can select among five behaviors: # # volatile-lru -> Evict using approximated LRU among the keys with an expire set. # allkeys-lru -> Evict any key using approximated LRU. # volatile-lfu -> Evict using approximated LFU among the keys with an expire set. # allkeys-lfu -> Evict any key using approximated LFU. # volatile-random -> Remove a random key among the ones with an expire set. # allkeys-random -> Remove a random key, any key. # volatile-ttl -> Remove the key with the nearest expire time (minor TTL) # noeviction -> Don't evict anything, just return an error on write operations. # # LRU means Least Recently Used # LFU means Least Frequently Used # # Both LRU, LFU and volatile-ttl are implemented using approximated # randomized algorithms. # # Note: with any of the above policies, Redis will return an error on write # operations, when there are no suitable keys for eviction. # # At the date of writing these commands are: set setnx setex append # incr decr rpush lpush rpushx lpushx linsert lset rpoplpush sadd # sinter sinterstore sunion sunionstore sdiff sdiffstore zadd zincrby # zunionstore zinterstore hset hsetnx hmset hincrby incrby decrby # getset mset msetnx exec sort # # The default is: # # maxmemory-policy noeviction
  • volatile-lru : 採用最近使用最少的淘汰策略, Redis 將回收那些超時的(僅僅是超時的)鍵值對 , 也就是它只淘汰那些超時的鍵值對。
  • allkeys-lru : 採用淘汰最少使用的策略 , Redis將對所有的(不僅僅是超時的)鍵值對採用最近使用最少的淘汰策略。
  • volatile-random:採用隨機淘汰策略刪除超時的(僅僅是超時的)鍵值對
  • allkeys-random : 採用隨機、淘汰策略刪除所有的(不僅僅是超時的)鍵值對,這個策略不常用 。
  • volatile-rtl: 採用刪除存活時間最短的鍵值對策略 。
  • noeviction : 根本就不淘汰任何鍵值對 , 當記憶體己滿時 , 如果做讀操作,例如 get 命令 , 它將正常工作,而做寫操作,它將返回錯誤 。 也就是說 , 當 Redis 採用這個策略記憶體達到最大的 時候 , 它就只能讀而不能寫了。

Redis 在預設情況下會採用 noeviction 策略。換句話說,如果記憶體己滿 , 則不再提供寫入操作 , 而只提供讀取操作 。 顯然這往往並不能滿足我們的要求,因為對於網際網路系統而言 , 常常會涉及數以百萬甚至更多的使用者 , 所以往往需要設定回收策略。

需要指出的是 : LRU 演算法或者 TTL 演算法都是不是很精確演算法,而是一個近似的演算法。 Redis 不會通過對全部的鍵值對進行比較來確定最精確的時間值,從而確定刪除哪個鍵值對 , 因為這將消耗太多的時間 , 導致回收垃圾執行的時間太長 , 造成服務停頓.

而在Redis 的預設配置檔案中 , 存在著引數 maxmemory-sample

# LRU, LFU and minimal TTL algorithms are not precise algorithms but approximated
# algorithms (in order to save memory), so you can tune it for speed or
# accuracy. For default Redis will check five keys and pick the one that was
# used less recently, you can change the sample size using the following
# configuration directive.
#
# The default of 5 produces good enough results. 10 Approximates very closely
# true LRU but costs more CPU. 3 is faster but not very accurate.
#
# maxmemory-samples 5

當設定 maxmemory-samples越大,則 Redis 刪除的就越精確,但是與此同時帶來不利的是, Redis 也就需要花更多的時去計算匹配更為精確的值 。

回收超時策略的缺點是必須指明超時的鍵值對 ,這會給程式開發帶來一些設定超時的程式碼,無疑增加了開發者的工作量。對所有的鍵值對進行回收,有可能把正在使用的鍵值對刪掉,增加了儲存的不穩定性。對於垃圾回收的策略,還需要注意的是回收的時間,因為在 Redis 對垃圾的回收期間, 會造成系統緩慢。因此,控制其回收時間有一定好處,只是這個時間不能過短或過長。過短則會造成回收次數過於頻繁,過長則導致系統單次垃圾回收停頓時間過長,都不利於系統的穩定性,這些都需要設計者在實際的工作中進行思考 。

相關推薦

Redis-17Redis記憶體回收策略

概述 Redi s 也會因為記憶體不足而產生錯誤 , 也可能因為回收過久而導致系統長期的停頓,因此掌握執行回收策略十分有必要。在 Redis 的配置檔案中,當 Redis 的記憶體達到規定的最大值時,允許配置 6 種策略中的一種進行淘汰鍵值,並且將一些鍵值對進

面試題之redis記憶體回收策略

1、maxmemory-policy noeviction(預設):記憶體空間不足會報錯 2、allkeys-lru:最少使用的資料去淘汰 3、allkeys-random:隨機淘汰一些key 4、volatile-random:在已經設定了過期的時間去隨機淘汰      

Redis記憶體上限和記憶體回收策略

上一篇文章講到了Redis的記憶體分配和簡單的Redis記憶體檢視,今天這篇文章帶來Redis的記憶體上限管理和Redis的記憶體回收策略。 記憶體上限 Redis可以通過 maxmemory 引數來限制最大可用記憶體,主要為了避免Redis記憶體超過作

Redis記憶體回收機制

Redis的記憶體回收機制 2018年01月16日 17:11:48 chs007chs 閱讀數:1172   Redis的記憶體回收機制主要體現在一下兩

JVM記憶體回收策略&GC演算法對比

1、如何檢測垃圾 垃圾收集器必須要完成兩件事情:一個是能夠正確的檢測出垃圾物件,另一個是能夠釋放垃圾物件佔用的記憶體空間。 只要某個物件不再被其他活動物件(指的是能夠被一個根物件集合到達的物件)引用,那麼就可以回收(根節點可達性分析)。   根物件集合中又都是些什麼物件?

JVM記憶體回收策略

靜態記憶體的分配和回收 Java中靜態記憶體分配是指在Java被編譯時就已經能夠確定需要的記憶體空間,當程式被載入時系統把記憶體一次性分配給它。 原生資料型別 物件的引用 動態記憶體分配和回收 Java中的物件 如何檢測垃圾 只要某個

架構設計 | 快取管理模式,監控和記憶體回收策略

本文原始碼:[GitHub·點這裡](https://github.com/cicadasmile/data-manage-parent) || [GitEE·點這裡](https://gitee.com/cicadasmile/data-manage-parent) # 一、快取設計 ## 1、快取的

Redis 的過期策略以及記憶體回收機制

一、Redis過期策略  redis是如何處理過期的key?      分為2種:passive (被動)和active(主動)      所謂被動的處理方式就是 :當一些客戶端進行訪問的時候,祕鑰被動過期,

Redis 回收策略

volatile-lru:從已設定過期時間的資料集(server.db[i].expires)中挑選最近最少使用的資料淘汰 volatile-ttl:從已設定過期時間的資料集(server.db[i].expires)中挑選將要過期的資料淘汰 volatile-random:從已設定

redis 系列15 資料物件的(型別檢查,記憶體回收,物件共享)和資料庫切換

redis 系列15 資料物件的(型別檢查,記憶體回收,物件共享)和資料庫切換 一.  概述   對於前面的五章中,已清楚了資料物件的型別以及命令實現,其實還有一種資料物件為HyperLogLog,以後需要用到再瞭解。下面再瞭解型別檢查,記憶體回收,物件共享,物件的空轉時長。

自動記憶體管理機制(4)- 記憶體分配和回收策略

自動記憶體管理機制(4)- 記憶體分配和回收策略 Java所承諾的自動記憶體管理主要是針對物件記憶體的回收和物件記憶體的分配。 在Java虛擬機器的五塊記憶體空間中,程式計數器、Java虛擬機器棧、本地方法棧記憶體的分配和回收都具有確定性,一般在編譯階段就能確定需要分配的記憶體大小,

深入Java虛擬機器閱讀感(二)-Java垃圾回收器與記憶體分配策略

垃圾回收器主要演算法:       1、引用計數法。給物件新增一個計數器,當物件被使用時則加1,當引用失效時則減1,當計數為0時則認為該物件可以被回收。由於該算演算法無法解決物件相互引用而計數不會減為0,導致該物件無法回收,所以該演算法不是Java虛擬垃圾回收器

速記JVM記憶體模型和垃圾回收策略

一、常用JVM引數 -Xms: 初始堆大小 -Xmx: 最大堆 -Xss: 棧容量 -PermSize: 方法區大小 -MaxPermSize: 最大方法區大小 -MaxDirectMemorySize: 最大直接記憶體大小 二、java虛擬機器基本結構   1.

垃圾回收記憶體分配策略

在瞭解垃圾回收之前,我想問大家三個問題,哪些記憶體需要回收?什麼時候可以回收?怎麼回收?我相信解決了這三個問題大家對GC會有一個更全面的瞭解。   哪些記憶體需要回收?   堆和方法區的記憶體需要被回收。因為程式計數器、虛擬機器棧和本地方法棧3個區域是隨著執行緒而生,隨著執行緒而滅的。棧幀中分

垃圾收集器與記憶體分配策略(六)——記憶體分配與回收策略

物件的記憶體分配,往大方向上講,就是在堆上分配(但也可能經過JIT編譯後被拆散為標量型別並間接地棧上分配),物件主要分配在新生代的Eden區上,如果啟動了本地執行緒分配緩衝,將按執行緒優先在TLAB上分配。少數情況下也可能會直接分配在老年代中,分配的規則並不是百分之百固定的,

redis 系列15 資料物件的(型別檢查,記憶體回收,物件共享)和資料庫切換

一.  概述   對於前面的五章中,已清楚了資料物件的型別以及命令實現,其實還有一種資料物件為HyperLogLog,以後需要用到再瞭解。下面再瞭解型別檢查,記憶體回收,物件共享,物件的空轉時長。   1.1   型別檢查與命令多型     redis中用於操作鍵的命令基本上可以分為兩種型別,一種是可以對任何

JVM:GC-記憶體分配與回收策略

物件優先在Eden區分配 物件優先在eden區分配,當eden區沒有足夠空間分配記憶體時,就會發現minor gc. 程式碼例項: public class Main { static int _1M = 1024*1024; //vm 引數 // -ver

GC發生時記憶體分配和回收策略

在《深入理解java虛擬機器》一書中讀到3.6章節,記憶體分配和回收策略: 預備知識 java堆=年輕代(Eden+Survivor+Survivor)+老年代 Eden:Survivor:Survivor預設比例8:1:1,每次年輕代使用率90%(Ede

JVM六:記憶體分配與回收策略

對於物件的回收,前面以及講過具體的回收機制,下面我們來看看物件的分配策略! ①物件優先在Eden區域分配 大多數情況下,物件在新生代Eden區分配。當Eden區沒有足夠空間進行分配時,虛擬機器將發起一次Minor GC。 虛擬機器提供了-XX:PrintGCDetails這個收集日誌引數

Redis過期策略記憶體淘汰策略、持久化策略

一、持久化策略 1.基本概念  Redis的資料是存在記憶體中的,若redis宕機,資料就會全部丟失 (1)RDB快照,是一次全量備份,快照是記憶體資料的二進位制序列化形式,儲存上非常緊湊; (2)AOF日誌,是連續的增量備份,AOF日誌記錄的是記憶體資料修改的指令記錄