實現 Java 本地快取的方法解析
快取,我相信大家對它一定不陌生,在專案中,快取肯定是必不可少的。市面上有非常多的快取工具,比如 Redis、Guava Cache 或者 EHcache。對於這些工具,我想大家肯定都非常熟悉,所以今天我們不聊它們,我們來聊一聊如何實現本地快取。參考上面幾種工具,要實現一個較好的本地快取,平頭哥認為要從以下三個方面開始。
1、儲存集合的選擇
實現本地快取,儲存容器肯定是 key/value 形式的資料結構,在 Java 中,也就是我們常用的 Map 集合。Map 中有 HashMap、Hashtable、ConcurrentHashMap 幾種供我們選擇,如果不考慮高併發情況下資料安全問題,我們可以選擇HashMap,如果考慮高併發情況下資料安全問題,我們可以選擇 Hashtable、ConcurrentHashMap 中的一種集合,但是我們優先選擇 ConcurrentHashMap,因為 ConcurrentHashMap 的效能比 Hashtable 要好。
2、過期快取處理
因為快取直接儲存在記憶體中,如果我們不處理過期快取,記憶體將被大量無效快取佔用,這不是我們想要的,所以我們需要清理這些失效的快取。過期快取處理可以參考 Redis 的策略來實現,Redis 採用的是定期刪除 + 懶惰淘汰策略。
定期刪除策略
定期刪除策略是每隔一段時間檢測已過期的快取,並且降之刪除。這個策略的優點是能夠確保過期的快取都會被刪除。同時也存在著缺點,過期的快取不一定能夠及時的被刪除,這跟我們設定的定時頻率有關係,另一個缺點是如果快取資料較多時,每次檢測也會給 cup 帶來不小的壓力。
懶惰淘汰策略
懶惰淘汰策略是在使用快取時,先判斷快取是否過期,如果過期將它刪除,並且返回空。這個策略的優點是隻有在查詢的時候,才判斷是否過期,對 CUP 影響較。同時這種策略有致命的缺點,當存入了大量的快取,這些快取都沒有被使用並且已過期,都將成為無效快取,這些無效的快取將佔用你大量的記憶體空間,最後導致伺服器記憶體溢位。
我們簡單的瞭解了一下 Redis 的兩種過期快取處理策略,每種策略都存在自己的優缺點。所以我們在使用過程中,可以將兩種策略組合起來,結合效果還是非常理想的。
3、快取淘汰策略
快取淘汰跟過期快取處理要區別開來,快取淘汰是指當我們的快取個數達到我們指定的快取個數時,畢竟我們的記憶體不是無限的。如果我們需要繼續新增快取的話,我們就需要在現有的快取中根據某種策略淘汰一些快取,給新新增的快取騰出位置,下面一起來認識幾種常用的快取淘汰策略。
先進先出策略
最先進入快取的資料在快取空間不夠的情況下會被優先被清除掉,以騰出新的空間接受新的資料。該策略主要比較快取元素的建立時間。在一些對資料實效性要求比較高的場景下,可考慮選擇該類策略,優先保障最新資料可用。
最少使用策略
無論是否過期,根據元素的被使用次數判斷,清除使用次數較少的元素釋放空間。該策略主要比較元素的hitCount(命中次數),在保證高頻資料有效性場景下,可選擇這類策略。
最近最少使用策略
無論是否過期,根據元素最後一次被使用的時間戳,清除最遠使用時間戳的元素釋放空間。該策略主要比較快取最近一次被get使用時間。在熱點資料場景下較適用,優先保證熱點資料的有效性。
隨機淘汰策略
無論是否過期,隨機淘汰某個快取,如果對快取資料沒有任何要求,可以考慮使用該策略。
不淘汰策略
當快取達到指定值之後,不淘汰任何快取,而是不能新增快取,直到有快取淘汰時,才能繼續新增快取。
上面是實現本地快取需要考慮的三個點,看完我們應該知該如何實現一個本地快取了,不妨我們一起來實現一個本地快取。
實現本地快取
在該 Demo 中,我們採用 ConcurrentHashMap 作為儲存集合,這樣即使在高併發的情況下,我們也能夠保證快取的安全。過期快取處理在這裡我只使用了定時刪除策略,並沒有使用定時刪除 + 懶惰淘汰策略,你可以自己動手嘗試一下使用這兩種策略進行過期快取處理。在快取淘汰方面,我在這裡採用了最少使用策略。好了,技術選型都知道了,我們一起來看看程式碼實現。
快取物件類
public class Cache implements Comparable<Cache>{ // 鍵 private Object key; // 快取值 private Object value; // 最後一次訪問時間 private long accessTime; // 建立時間 private long writeTime; // 存活時間 private long expireTime; // 命中次數 private Integer hitCount; ...getter/setter()...
新增快取
/** * 新增快取 * * @param key * @param value */ public void put(K key, V value,long expire) { checkNotNull(key); checkNotNull(value); // 當快取存在時,更新快取 if (concurrentHashMap.containsKey(key)){ Cache cache = concurrentHashMap.get(key); cache.setHitCount(cache.getHitCount()+1); cache.setWriteTime(System.currentTimeMillis()); cache.setAccessTime(System.currentTimeMillis()); cache.setExpireTime(expire); cache.setValue(value); return; } // 已經達到最大快取 if (isFull()) { Object kickedKey = getKickedKey(); if (kickedKey !=null){ // 移除最少使用的快取 concurrentHashMap.remove(kickedKey); }else { return; } } Cache cache = new Cache(); cache.setKey(key); cache.setValue(value); cache.setWriteTime(System.currentTimeMillis()); cache.setAccessTime(System.currentTimeMillis()); cache.setHitCount(1); cache.setExpireTime(expire); concurrentHashMap.put(key, cache); }
獲取快取
/** * 獲取快取 * * @param key * @return */ public Object get(K key) { checkNotNull(key); if (concurrentHashMap.isEmpty()) return null; if (!concurrentHashMap.containsKey(key)) return null; Cache cache = concurrentHashMap.get(key); if (cache == null) return null; cache.setHitCount(cache.getHitCount()+1); cache.setAccessTime(System.currentTimeMillis()); return cache.getValue(); }
獲取最少使用的快取
/** * 獲取最少使用的快取 * @return */ private Object getKickedKey() { Cache min = Collections.min(concurrentHashMap.values()); return min.getKey(); }
過期快取檢測方法
/** * 處理過期快取 */ class TimeoutTimerThread implements Runnable { public void run() { while (true) { try { TimeUnit.SECONDS.sleep(60); expireCache(); } catch (Exception e) { e.printStackTrace(); } } } /** * 建立多久後,快取失效 * * @throws Exception */ private void expireCache() throws Exception { System.out.println("檢測快取是否過期快取"); for (Object key : concurrentHashMap.keySet()) { Cache cache = concurrentHashMap.get(key); long timoutTime = TimeUnit.NANOSECONDS.toSeconds(System.nanoTime() - cache.getWriteTime()); if (cache.getExpireTime() > timoutTime) { continue; } System.out.println(" 清除過期快取 : " + key); //清除過期快取 concurrentHashMap.remove(key); } } }
上面是主要程式碼,完整的程式碼我已經上傳至 GitHub
本文從實現本地快取的設計角度,一起簡單的探討了一下實現本地快取需要注意的地方,其實這些也是快取的核心技術,不管是 Redis、Guava Cache 還是 EHcache或者其他快取工具,它們在實現原理上,跟我們本地快取的實現原理都差不多。只要我們理解了本地快取的實現原理,在去學習這些快取工具,我相信還是會比較輕鬆的。
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援碼農教程。