1. 程式人生 > 其它 >redis 知識點收集 注意理解底層

redis 知識點收集 注意理解底層

學redis,首先要明白其特性,其次要理解明白redis與作業系統底層的關係,這點很重要。這是一個優秀的學習方法,作為計算機專業,應當時刻想著技術和作業系統計算機組成資料結構的聯絡,聽起來有些書生氣死板,但百利無一害,這不就是研究一個技術的過程嗎,我們一開始就這樣想這樣行動,可以極大幫助我們快速掌握甚至精通技術,不然就得等需要的時候再研究,這樣肯定沒有前者效率高。這樣還能自我正反饋,所要學的和已學的進行復習回顧打牢計算機基礎,提升計算機素養,這點尤為重要。

 

 

 

1、什麼是 Redis ?簡述它的優缺點?
Redis 的全稱是: Remote Dictionary.Server ,本質上是一個 Key-Value 型別的記憶體資料庫,很像 memcached ,整個資料庫統統載入在記憶體當中進行操作,定期通過非同步操作把資料庫資料 flush 到硬碟 上進行儲存。
因為是純記憶體操作, Redis 的效能非常出色,每秒可以處理超過 10 萬次讀寫操作,是已知效能最快的 Key-Value DB。
Redis 的出色之處不僅僅是效能, Redis 最大的魅力是支援儲存多種資料結構,此外單個 value 的最大限 制是 1GB ,不像 memcached 只能儲存 1MB 的資料,因此 Redis 可以用來實現很多有用的功能。
比方說用他的 List 來做 FIFO 雙向連結串列,實現一個輕量級的高性 能訊息佇列服務,用他的 Set 可以做高 效能的 tag 系統等等。
另外 Redis 也可以對存入的 Key-Value 設定 expire 時間,因此也可以被當作一 個功能加強版的 memcached 來用。 Redis 的主要缺點是資料庫容量受到實體記憶體的限制,不能用作海量資料的高效能 讀寫,因此 Redis 適合的場景主要侷限在較小資料量的高效能操作和運算上。
2、 Redis 與 memcached 相比有哪些優勢?
1.memcached 所有的值均是簡單的字串, redis 作為其替代者,支援更為豐富的資料型別
2.redis 的速度比 memcached 快很多 redis 的速度比 memcached 快很多
3.redis 可以持久化其資料 redis 可以持久化其資料
3、 Redis 支援哪幾種資料型別?
String、 List、 Set、 Sorted Set、 hashes
4、 Redis 主要消耗什麼物理資源?
記憶體。
5、 Redis 有哪幾種資料淘汰策略? 1.noeviction:返回錯誤當記憶體限制達到,並且客戶端嘗試執行會讓更多記憶體被使用的命令。 2.allkeys-lru: 嘗試回收最少使用的鍵( LRU ),使得新新增的資料有空間存放。
3.volatile-lru: 嘗試回收最少使用的鍵( LRU ),但僅限於在過期集合的鍵,使得新新增的資料有空間存 放。
4.allkeys-random: 回收隨機的鍵使得新新增的資料有空間存放。
5.volatile-random: 回收隨機的鍵使得新新增的資料有空間存放,但僅限於在過期集合的鍵。 6.volatile-ttl: 回收在過期集合的鍵,並且優先回收存活時間(TTL)較短的鍵,使得新新增的資料有空間 存放。
6、 Redis 官方為什麼不提供 Windows 版本?
因為目前 Linux 版本已經相當穩定,而且使用者量很大,無需開發 windows 版本,反而會帶來相容性等問 題。
7、一個字串型別的值能儲存最大容量是多少? 512M
8、為什麼 Redis 需要把所有資料放到記憶體中?
Redis 為了達到最快的讀寫速度將資料都讀到記憶體中,並通過非同步的方式將資料寫入磁碟。
所以 redis 具有快速和資料持久化的特徵,如果不將資料放在記憶體中,磁碟 I/O 速度為嚴重影響redis 的 效能。
在記憶體越來越便宜的今天, redis 將會越來越受歡迎, 如果設定了最大使用的記憶體,則資料已有記錄數達 到記憶體限值後不能繼續插入新值。
9、 Redis 叢集方案應該怎麼做?都有哪些方案?
1.codis
2.目前用的最多的叢集方案,基本和 twemproxy 一致的效果,但它支援在節點數量改變情況下,舊節點 資料可恢復到新 hash 節點。
redis cluster3.0 自帶的叢集,特點在於他的分散式演算法不是一致性 hash ,而是 hash 槽的概念,以及自 身支援節點設定從節點。具體看官方文件介紹。
3.在業務程式碼層實現,起幾個毫無關聯的 redis 例項,在程式碼層,對 key 進行 hash 計算,然後去對應的 redis 例項操作資料。這種方式對 hash 層程式碼要求比較高,考慮部分包括,節點失效後的替代演算法方 案,資料震盪後的自動指令碼恢復,例項的監控,等等。
歡迎工作一到五年的 Java 工程師朋友們加入 Java 進階架構學習交流: 952124565 ,群內提供免費的 Java 架構學習資料(裡面有高可用、高併發、高效能及分散式、 Jvm 效能調優、 Spring 原始碼, MyBatis ,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx 等多個知識點的架構資 料)合理利用自己每一分每一秒的時間來學習提升自己,不要再用"沒有時間“來掩飾自己思想上的懶 惰!趁年輕,使勁拼,給未來的自己一個交代!
10、 Redis 叢集方案什麼情況下會導致整個叢集不可用?
有 A ,B ,C 三個節點的叢集,在沒有複製模型的情況下,如果節點 B 失敗了,那麼整個叢集就會以為缺少 5501-11000 這個範圍的槽而不可用。
11、 MySQL 裡有 2000w 資料, redis 中只存 20w 的資料,如何保證 redis 中的資料都是熱點資料? redis 記憶體資料集大小上升到一定大小的時候,就會施行資料淘汰策略。
其實面試除了考察 Redis ,不少公司都很重視高併發高可用的技術,特別是一線網際網路公司,分散式、 JVM、 spring 原始碼分析、微服務等知識點已是面試的必考題。我自己整理收集了一套系統的架構技術體 系,針對當前網際網路公司的技術需求以及結合主流技術,這些東西可能你們平時在工作中接觸過,但是缺 少的全面系統的學習,加入後端開發群: 943918498 ,或是關注微信公眾號: Java 資訊庫,回覆“架 構”,免費領取架構資料。
12、 Redis 有哪些適合的場景?
( 1 )會話快取( Session Cache )
最常用的一種使用 Redis 的情景是會話快取( sessioncache ),用 Redis 快取會話比其他儲存(如 Memcached )的優勢在於: Redis 提供持久化。當維護一個不是嚴格要求一致性的快取時,如果使用者的 購物車資訊全部丟失,大部分人都會不高興的,現在,他們還會這樣嗎?
幸運的是,隨著 Redis 這些年的改進,很容易找到怎麼恰當的使用 Redis 來快取會話的文件。甚至廣為 人知的商業平臺 Magento 也提供 Redis 的外掛。
( 2 )全頁快取( FPC )
除基本的會話 token 之外, Redis 還提供很簡便的 FPC 平臺。回到一致性問題,即使重啟了 Redis 實 例,因為有磁碟的持久化,使用者也不會看到頁面載入速度的下降,這是一個極大改進,類似 PHP 本地 FPC。
再次以 Magento 為例, Magento 提供一個外掛來使用 Redis 作為全頁快取後端。
此外,對 WordPress 的使用者來說, Pantheon 有一個非常好的外掛wp-redis ,這個外掛能幫助你以最快 速度載入你曾瀏覽過的頁面。
( 3 )佇列
Reids 在記憶體儲存引擎領域的一大優點是提供 list 和 set 操作,這使得 Redis 能作為一個很好的訊息佇列 平臺來使用。 Redis 作為佇列使用的操作,就類似於本地程式語言(如 Python )對 list 的 push/pop 操作。
如果你快速的在 Google 中搜索“Redis queues”,你馬上就能找到大量的開源專案,這些專案的目的 就是利用 Redis 建立非常好的後端工具,以滿足各種佇列需求。例如, Celery 有一個後臺就是使用 Redis 作為 broker ,你可以從這裡去檢視。
( 4)排行榜/計數器
Redis 在記憶體中對數字進行遞增或遞減的操作實現的非常好。集合( Set )和有序集合( SortedSet)也使 得我們在執行這些操作的時候變的非常簡單, Redis 只是正好提供了這兩種資料結構。
所以,我們要從排序集合中獲取到排名最靠前的 10 個使用者–我們稱之為“user_scores”,我們只需要像 下面一樣執行即可:
當然,這是假定你是根據你使用者的分數做遞增的排序。如果你想返回使用者及使用者的分數,你需要這樣執 行:
ZRANGE user_scores 0 10 WITHSCORES
Agora Games 就是一個很好的例子,用 Ruby 實現的,它的排行榜就是使用 Redis 來儲存資料的,你可 以在這裡看到。
( 5 )釋出/訂閱
最後(但肯定不是最不重要的)是 Redis 的釋出/訂閱功能。釋出/訂閱的使用場景確實非常多。我已看見 人們在社交網路連線中使用,還可作為基於釋出/訂閱的指令碼觸發器,甚至用Redis 的釋出/訂閱功能來建 立聊天系統!
13、 Redis 支援的 Java 客戶端都有哪些?官方推薦用哪個?
Redisson、 Jedis、 lettuce 等等,官方推薦使用 Redisson。
14、 Redis 和 Redisson 有什麼關係?
Redisson 是一個高階的分散式協調 Redis 客服端,能幫助使用者在分散式環境中輕鬆實現一些 Java 的對 象 (Bloom filter, BitSet, Set, SetMultimap, ScoredSortedSet, SortedSet, Map, ConcurrentMap, List, ListMultimap, Queue, BlockingQueue, Deque, BlockingDeque, Semaphore, Lock, ReadWriteLock, AtomicLong, CountDownLatch, Publish / Subscribe, HyperLogLog)。
15、 Jedis 與 Redisson 對比有什麼優缺點?
Jedis 是 Redis 的 Java 實現的客戶端,其 API 提供了比較全面的 Redis 命令的支援;
Redisson 實現了分散式和可擴充套件的 Java 資料結構,和 Jedis 相比,功能較為簡單,不支援字串操作, 不支援排序、事務、管道、分割槽等 Redis 特性。 Redisson 的宗旨是促進使用者對 Redis 的關注分離,從 而讓使用者能夠將精力更集中地放在處理業務邏輯上。
16、說說 Redis 雜湊槽的概念?
Redis 叢集沒有使用一致性 hash,而是引入了雜湊槽的概念, Redis 叢集有 16384 個雜湊槽,每個 key 通 過 CRC16 校驗後對 16384 取模來決定放置哪個槽,叢集的每個節點負責一部分 hash 槽。
17、 Redis 叢集的主從複製模型是怎樣的?
為了使在部分節點失敗或者大部分節點無法通訊的情況下叢集仍然可用,所以叢集使用了主從複製模型, 每個節點都會有 N-1 個複製品.
18、 Redis 叢集會有寫操作丟失嗎?為什麼?
Redis 並不能保證資料的強一致性,這意味這在實際中叢集在特定的條件下可能會丟失寫操作。
19、 Redis 叢集之間是如何複製的?
非同步複製
20、 Redis 叢集最大節點個數是多少?
16384 個
21、 Redis 叢集如何選擇資料庫?
Redis 叢集目前無法做資料庫選擇,預設在 0 資料庫。
22、 Redis 中的管道有什麼用?
一次請求/響應伺服器能實現處理新的請求即使舊的請求還未被響應,這樣就可以將多個命令傳送到服務 器,而不用等待回覆,最後在一個步驟中讀取該答覆。
這就是管道( pipelining ),是一種幾十年來廣泛使用的技術。例如許多 POP3 協議已經實現支援這個功 能,大大加快了從伺服器下載新郵件的過程。
23、怎麼理解 Redis 事務?
事務是一個單獨的隔離操作:事務中的所有命令都會序列化、按順序地執行,事務在執行的過程中,不會 被其他客戶端傳送來的命令請求所打斷。
事務是一個原子操作:事務中的命令要麼全部被執行,要麼全部都不執行。
24、 Redis 事務相關的命令有哪幾個?
MULTI、 EXEC、 DISCARD、 WATCH
25、 Redis key 的過期時間和永久有效分別怎麼設定?
EXPIRE 和 PERSIST 命令
26、 Redis 如何做記憶體優化?
儘可能使用散列表( hashes),散列表(是說散列表裡面儲存的數少)使用的記憶體非常小,所以你應該 儘可能的將你的資料模型抽象到一個散列表裡面。
比如你的 web 系統中有一個使用者物件,不要為這個使用者的名稱,姓氏,郵箱,密碼設定單獨的key,而是 應該把這個使用者的所有資訊儲存到一張散列表裡面。
27、 Redis 回收程序如何工作的?
一個客戶端運行了新的命令,添加了新的資料。
Redi 檢查記憶體使用情況,如果大於 maxmemory 的限制, 則根據設定好的策略進行回收。
一個新的命令被執行,等等。
所以我們不斷地穿越記憶體限制的邊界,通過不斷達到邊界然後不斷地回收回到邊界以下。
如果一個命令的結果導致大量記憶體被使用(例如很大的集合的交集儲存到一個新的鍵),不用多久記憶體限 制就會被這個記憶體使用量超越。
28.加鎖機制

咱們來看上面那張圖,現在某個客戶端要加鎖。如果該客戶端面對的是一個 redis cluster 集 群,他首先會根據 hash節點選擇一臺機器。 這裡注意,僅僅只是選擇一臺機器!這點很關 鍵!緊接著,就會發送一段 lua 指令碼到redis 上,那段 lua 指令碼如下所示:

 


為啥要用 lua 指令碼呢?因為一大坨複雜的業務邏輯,可以通過封裝在lua 指令碼中傳送給redis, 保證這段複雜業務邏輯執行的原子性。
那麼,這段 lua 指令碼是什麼意思呢?這裡 KEYS[1]代表的是你加鎖的那個 key,比如說: RLoc k lock = redisson.getLock("myLock");這裡你自己設定了加鎖的那個鎖 key 就是“myLock”。
ARGV[1]代表的就是鎖key 的預設生存時間,預設 30 秒。 ARGV[2]代表的是加鎖的客戶端的 I D,類似於下面這樣: 8743c9c0-0795-4907-87fd-6c719a6b4586:1
給大家解釋一下,第一段 if 判斷語句,就是用“exists myLock”命令判斷一下,如果你要加鎖 的那個鎖 key 不存在的話,你就進行加鎖。如何加鎖呢?很簡單, 用下面的命令:hset myLoc k

 

 

8743c9c0-0795-4907-87fd-6c719a6b4586:1 1,通過這個命令設定一個 hash 資料結構,這行 命令執行後,會出現一個類似下面的資料結構:

 


上述就代表“8743c9c0-0795-4907-87fd-6c719a6b4586:1”這個客戶端對“myLock”這個鎖 key 完 成了加鎖。接著會執行“pexpire myLock 30000”命令,設定 myLock 這個鎖 key 的生存時間 是 30 秒。好了,到此為止, ok,加鎖完成了。


29.鎖互斥機制

那麼在這個時候,如果客戶端 2 來嘗試加鎖,執行了同樣的一段 lua 指令碼,會咋樣呢?很簡 單,第一個 if 判斷會執行“exists myLock”,發現 myLock 這個鎖 key 已經存在了。接著第二 個 if 判斷,判斷一下, myLock 鎖 key 的 hash資料結構中,是否包含客戶端 2 的 ID,但是明 顯不是的,因為那裡包含的是客戶端 1 的 ID。
所以,客戶端 2 會獲取到 pttl myLock 返回的一個數字,這個數字代表了myLock 這個鎖key 的剩餘生存時間。 比如還剩 15000 毫秒的生存時間。此時客戶端 2 會進入一個 while 迴圈,不 停的嘗試加鎖。

 

30.watch dog 自動延期機制

客戶端 1 加鎖的鎖 key 預設生存時間才 30 秒,如果超過了30 秒,客戶端 1 還想一直持有這把 鎖,怎麼辦呢?
簡單!只要客戶端 1 一旦加鎖成功,就會啟動一個watch dog 看門狗, 他是一個後臺執行緒, 會 每隔 10 秒檢查一下,如果客戶端 1 還持有鎖 key,那麼就會不斷的延長鎖 key 的生存時間。

 

31.可重入加鎖機制

那如果客戶端 1 都已經持有了這把鎖了,結果可重入的加鎖會怎麼樣呢?比如下面這種程式碼:


這時我們來分析一下上面那段 lua 指令碼。 第一個 if判斷肯定不成立,“exists myLock”會顯示鎖 key 已經存在了。 第二個 if判斷會成立,因為 myLock 的 hash資料結構中包含的那個 ID,就 是客戶端 1 的那個 ID,也就是“8743c9c0-0795-4907-87fd-6c719a6b4586:1”


此時就會執行可重入加鎖的邏輯,他會用:incrby myLock 8743c9c0-0795-4907-87fd-6c71a6b4586:1 1 ,通過這個命令,對客戶端 1 的加鎖次數,累加 1。此時 myLock 資料結構變為下面這樣:

大家看到了吧,那個 myLock 的 hash資料結構中的那個客戶端 ID,就對應著加鎖的次數

32.釋放鎖機制

如果執行 lock.unlock(),就可以釋放分散式鎖,此時的業務邏輯也是非常簡單的。其實說白 了,就是每次都對 myLock 資料結構中的那個加鎖次數減 1。如果發現加鎖次數是 0 了,說明 這個客戶端已經不再持有鎖了,此時就會用: “del myLock”命令,從 redis 裡刪除這個 key。 然後呢,另外的客戶端 2 就可以嘗試完成加鎖了。這就是所謂的分散式鎖的開源 Redisson 框 架的實現機制。
一般我們在生產系統中,可以用 Redisson 框架提供的這個類庫來基於 redis 進行分散式鎖的加 鎖與釋放鎖。
33.上述 Redis 分散式鎖的缺點

其實上面那種方案最大的問題,就是如果你對某個 redis master 例項,寫入了myLock 這種鎖 key 的 value,此時會非同步複製給對應的 master slave 例項。但是這個過程中一旦發生 redis m aster 宕機,主備切換, redis slave 變為了 redis master。
接著就會導致,客戶端 2 來嘗試加鎖的時候,在新的 redis master 上完成了加鎖,而客戶端 1 也以為自己成功加了鎖。此時就會導致多個客戶端對一個分散式鎖完成了加鎖。這時系統在業 務語義上一定會出現問題, 導致各種髒資料的產生。
所以這個就是 redis cluster,或者是 redis master-slave 架構的主從非同步複製導致的 redis 分佈 式鎖的最大缺陷: 在 redis master例項宕機的時候, 可能導致多個客戶端同時完成加鎖。

34.使用過 Redis 分散式鎖麼,它是怎麼實現的?
一般使用 list 結構作為佇列, rpush 生產訊息, lpop 消費訊息。當 lpop 沒有訊息的時候,要適當sleep 一會再重試。
缺點:
在消費者下線的情況下,生產的訊息會丟失,得使用專業的訊息佇列如 rabbitmq 等。 能不能生產一次消費多次呢?
使用 pub/sub 主題訂閱者模式,可以實現 1:N 的訊息佇列。 36.什麼是快取穿透?如何避免?什麼是快取雪崩?何如避免?
快取穿透
一般的快取系統,都是按照 key 去快取查詢,如果不存在對應的value ,就應該去後端系統查詢(比如 DB)。一些惡意的請求會故意查詢不存在的 key,請求量很大,就會對後端系統造成很大的壓力。這就叫 做快取穿透。
如何避免?
1 :對查詢結果為空的情況也進行快取,快取時間設定短一點,或者該 key 對應的資料 insert 了之後清理 快取。
2 :對一定不存在的 key 進行過濾。可以把所有的可能存在的 key 放到一個大的 Bitmap 中,查詢時通過 該 bitmap 過濾。
快取雪崩
當快取伺服器重啟或者大量快取集中在某一個時間段失效,這樣在失效的時候,會給後端系統帶來很大壓 力。導致系統崩潰。
如何避免?
1 :在快取失效後,通過加鎖或者佇列來控制讀資料庫寫快取的執行緒數量。比如對某個 key 只允許一個線 程查詢資料和寫快取,其他執行緒等待。
2 :做二級快取, A1 為原始快取, A2 為拷貝快取, A1 失效時,可以訪問 A2 ,A1 快取失效時間設定為 短期, A2 設定為長期
3 :不同的 key ,設定不同的過期時間,讓快取失效的時間點儘量均勻

 

 

![](https://img2022.cnblogs.com/blog/2831845/202204/2831845-20220412223504908-2019705387.png)

 

![](https://img2022.cnblogs.com/blog/2831845/202204/2831845-20220412223541442-718124439.png)