1. 程式人生 > >實現 Java 本地快取,該從這幾點開始

實現 Java 本地快取,該從這幾點開始

快取,我相信大家對它一定不陌生,在專案中,快取肯定是必不可少的。市面上有非常多的快取工具,比如 Redis、Guava Cache 或者 EHcache。對於這些工具,我想大家肯定都非常熟悉,所以今天我們不聊它們,我們來聊一聊如何實現本地快取。參考上面幾種工具,要實現一個較好的本地快取,平頭哥認為要從以下三個方面開始。

1、儲存集合的選擇

實現本地快取,儲存容器肯定是 key/value 形式的資料結構,在 Java 中,也就是我們常用的 Map 集合。Map 中有 HashMap、Hashtable、ConcurrentHashMap 幾種供我們選擇,如果不考慮高併發情況下資料安全問題,我們可以選擇HashMap,如果考慮高併發情況下資料安全問題,我們可以選擇 Hashtable、ConcurrentHashMap 中的一種集合,但是我們優先選擇 ConcurrentHashMap,因為 ConcurrentHashMap 的效能比 Hashtable 要好。

2、過期快取處理

因為快取直接儲存在記憶體中,如果我們不處理過期快取,記憶體將被大量無效快取佔用,這不是我們想要的,所以我們需要清理這些失效的快取。過期快取處理可以參考 Redis 的策略來實現,Redis 採用的是定期刪除 + 懶惰淘汰策略。

定期刪除策略

定期刪除策略是每隔一段時間檢測已過期的快取,並且降之刪除。這個策略的優點是能夠確保過期的快取都會被刪除。同時也存在著缺點,過期的快取不一定能夠及時的被刪除,這跟我們設定的定時頻率有關係,另一個缺點是如果快取資料較多時,每次檢測也會給 cup 帶來不小的壓力。

懶惰淘汰策略

懶惰淘汰策略是在使用快取時,先判斷快取是否過期,如果過期將它刪除,並且返回空。這個策略的優點是隻有在查詢的時候,才判斷是否過期,對 CUP 影響較。同時這種策略有致命的缺點,當存入了大量的快取,這些快取都沒有被使用並且已過期,都將成為無效快取,這些無效的快取將佔用你大量的記憶體空間,最後導致伺服器記憶體溢位。

我們簡單的瞭解了一下 Redis 的兩種過期快取處理策略,每種策略都存在自己的優缺點。所以我們在使用過程中,可以將兩種策略組合起來,結合效果還是非常理想的。

3、快取淘汰策略

快取淘汰跟過期快取處理要區別開來,快取淘汰是指當我們的快取個數達到我們指定的快取個數時,畢竟我們的記憶體不是無限的。如果我們需要繼續新增快取的話,我們就需要在現有的快取中根據某種策略淘汰一些快取,給新新增的快取騰出位置,下面一起來認識幾種常用的快取淘汰策略。

先進先出策略

最先進入快取的資料在快取空間不夠的情況下會被優先被清除掉,以騰出新的空間接受新的資料。該策略主要比較快取元素的建立時間。在一些對資料實效性要求比較高的場景下,可考慮選擇該類策略,優先保障最新資料可用。

最少使用策略

無論是否過期,根據元素的被使用次數判斷,清除使用次數較少的元素釋放空間。該策略主要比較元素的hitCount(命中次數),在保證高頻資料有效性場景下,可選擇這類策略。

最近最少使用策略

無論是否過期,根據元素最後一次被使用的時間戳,清除最遠使用時間戳的元素釋放空間。該策略主要比較快取最近一次被get使用時間。在熱點資料場景下較適用,優先保證熱點資料的有效性。

隨機淘汰策略

無論是否過期,隨機淘汰某個快取,如果對快取資料沒有任何要求,可以考慮使用該策略。

不淘汰策略

當快取達到指定值之後,不淘汰任何快取,而是不能新增快取,直到有快取淘汰時,才能繼續新增快取。

上面是實現本地快取需要考慮的三個點,看完我們應該知該如何實現一個本地快取了,不妨我們一起來實現一個本地快取。

實現本地快取

在該 Demo 中,我們採用 ConcurrentHashMap 作為儲存集合,這樣即使在高併發的情況下,我們也能夠保證快取的安全。過期快取處理在這裡我只使用了定時刪除策略,並沒有使用定時刪除 + 懶惰淘汰策略,你可以自己動手嘗試一下使用這兩種策略進行過期快取處理。在快取淘汰方面,我在這裡採用了最少使用策略。好了,技術選型都知道了,我們一起來看看程式碼實現。

快取物件類

public class Cache implements Comparable<Cache>{
    // 鍵
    private Object key;
    // 快取值
    private Object value;
    // 最後一次訪問時間
    private long accessTime;
    // 建立時間
    private long writeTime;
    // 存活時間
    private long expireTime;
    // 命中次數
    private Integer hitCount;
    ...getter/setter()...

新增快取

/**
 * 新增快取
 *
 * @param key
 * @param value
 */
public void put(K key, V value,long expire) {
    checkNotNull(key);
    checkNotNull(value);
    // 當快取存在時,更新快取
    if (concurrentHashMap.containsKey(key)){
        Cache cache = concurrentHashMap.get(key);
        cache.setHitCount(cache.getHitCount()+1);
        cache.setWriteTime(System.currentTimeMillis());
        cache.setAccessTime(System.currentTimeMillis());
        cache.setExpireTime(expire);
        cache.setValue(value);
        return;
    }
    // 已經達到最大快取
    if (isFull()) {
        Object kickedKey = getKickedKey();
        if (kickedKey !=null){
            // 移除最少使用的快取
            concurrentHashMap.remove(kickedKey);
        }else {
            return;
        }
    }
    Cache cache = new Cache();
    cache.setKey(key);
    cache.setValue(value);
    cache.setWriteTime(System.currentTimeMillis());
    cache.setAccessTime(System.currentTimeMillis());
    cache.setHitCount(1);
    cache.setExpireTime(expire);
    concurrentHashMap.put(key, cache);
}

獲取快取

/**
 * 獲取快取
 *
 * @param key
 * @return
 */
public Object get(K key) {
    checkNotNull(key);
    if (concurrentHashMap.isEmpty()) return null;
    if (!concurrentHashMap.containsKey(key)) return null;
    Cache cache = concurrentHashMap.get(key);
    if (cache == null) return null;
    cache.setHitCount(cache.getHitCount()+1);
    cache.setAccessTime(System.currentTimeMillis());
    return cache.getValue();
}

獲取最少使用的快取

    /**
     * 獲取最少使用的快取
     * @return
     */
    private Object getKickedKey() {
        Cache min = Collections.min(concurrentHashMap.values());
        return min.getKey();
    }

過期快取檢測方法

/**
 * 處理過期快取
 */
class TimeoutTimerThread implements Runnable {
    public void run() {
        while (true) {
            try {
                TimeUnit.SECONDS.sleep(60);
                expireCache();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

    /**
     * 建立多久後,快取失效
     *
     * @throws Exception
     */
    private void expireCache() throws Exception {
        System.out.println("檢測快取是否過期快取");
        for (Object key : concurrentHashMap.keySet()) {
            Cache cache = concurrentHashMap.get(key);
            long timoutTime = TimeUnit.NANOSECONDS.toSeconds(System.nanoTime()
                    - cache.getWriteTime());
            if (cache.getExpireTime() > timoutTime) {
                continue;
            }
            System.out.println(" 清除過期快取 : " + key);
            //清除過期快取
            concurrentHashMap.remove(key);
        }
    }
}

上面是主要程式碼,完整的程式碼我已經上傳至 GitHub

本文從實現本地快取的設計角度,一起簡單的探討了一下實現本地快取需要注意的地方,其實這些也是快取的核心技術,不管是 Redis、Guava Cache 還是 EHcache或者其他快取工具,它們在實現原理上,跟我們本地快取的實現原理都差不多。只要我們理解了本地快取的實現原理,在去學習這些快取工具,我相信還是會比較輕鬆的。

文章不足之處,望大家多多指點,共同學習,共同進步

最後

打個小廣告,歡迎掃碼關注微信公眾號:「平頭哥的技術博文」,一起進步吧。

相關推薦

實現 Java 本地快取開始

快取,我相信大家對它一定不陌生,在專案中,快取肯定是必不可少的。市面上有非常多的快取工具,比如 Redis、Guava Cache 或者 EHcache。對於這些工具,我想大家肯定都非常熟悉,所以今天我們不聊它們,我們來聊一聊如何實現本地快取。參考上面幾種工具,要實現一個較好的本地快取,平頭哥認為要從以下三個

開發一款即時通訊App開始

聯系 多功能 數據監控 live 裁剪 ren vertica super 聯系人 歡迎大家前往騰訊雲+社區,獲取更多騰訊海量技術實踐幹貨哦~ 本文由騰訊雲視頻發表於雲+社區專欄 關註公眾號“騰訊雲視頻”,一鍵獲取 技術幹貨 | 優惠活動 | 視頻方案 “晚上去哪吃

浙江京淘|就可以看出一個天貓代運營公司是否正規

才會 供應鏈 部分 如何 小團隊 銷售 占比 什麽 產品 一個好天貓代運營公司只有了解你的情況才會提出向你合作,了解你的店鋪現在的情況和你的產品,制定出一個合理的方案,雙方才會有合作的,這個時候你就要註意了。1丶不能以合作價格低就去衡量一個天貓代運營公司的好壞,對於代運營公

jdk13快來了jdk8的應該看看!

說明 jdk8雖然出現很久了,但是可能我們還是有很多人並不太熟悉,本文主要就是介紹說明一些jdk8相關的內容。 主要會講解: lambda表示式 方法引用 預設方法 Stream 用Optional取代null 新的日誌和時間 CompletableFuture 去除了永久代(PermGen) 被元空間(M

java--Fibonacc由數字1、1、2、3...組成的,從第三個數字起每一個數字為前兩個數字的和。建立一個方法接受一個整數引數顯示第一個元素開始總共由引數指定的個數所構成的所有斐波那契數

題目完整描述:一個斐波那契數列是由數字1、1、2、3、5、8、13、21、34等等組成的,其中每一個數字(從第三個數字起)都是前兩個數字的和。建立一個方法,接受一個整數引數,並顯示從第一個元素開始總共由該引數指定的個數所構成的所有斐波那契數字。例如,如果執行 java Fibonacci 5(Fib

Java ConcurrentHashmap實現Localcache本地快取

很多場景下,有些請求的資料,是不會經常改變的,這種時候,為了減少資料庫的查詢壓力,可以將這一部分資料放入快取中,直接從快取中讀取。除了一些像Redis等快取外,還可以通過本地記憶體,作為快取。下邊將使用ConcurrentHashMap來實現本地快取。 >相關的技術:

Android中實現本地快取儲存(SharedPreferences儲存)

SharedPreferences輕量級快取技術        SharedPreferences是Android平臺上一個輕量級的儲存類,用來儲存應用的一些常用配置。暫時將Activity的狀態

Jenkins的配置節點中預設沒有Launch agent via Java Web Start如何配置使用

Jenkins的配置從節點中預設沒有Launch agent via Java Web Start,如下圖所示,而這種啟動方式在W

要將大數據和分析轉變為競爭優勢實現業務轉型必須做到

流程優化 運營商 競爭對手 傳感器 吸引力 所謂大數據(Big Data)是指不使用隨機分析法(抽樣調查)的捷徑,而是采用對所有數據進行分析處理。它代表著需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據的特點:4VVolume(大量)、Ve

零基礎到精通Linux篇文章開始

nginx 搭建 keepalive 課程 cat sta git分支合並 時機 sys 2018年想做Linux運維的人應該如何學習才能快速精通Linux? Linux入門這麽簡單,為什麽很多人學不會? 想要成為一個合格的運維工程師,到底怎麽才能從零開始精通Linux?

長沙java培訓學校Java程序員要學會

java長沙java培訓學校,Java程序員要學會這幾點軟件工程師的職業生涯裏,知識有一個三年的半衰期。這意味著三年後,你所擁有的一半知識是毫無價值的。 持續學習,不斷寫作!你需要做一些卓越的事情,這將花費時間和精力。沒有人因為他們的個人魅力和顏值而成為 Java非常好的程序員,全靠辛苦工作才可以。 編碼習慣

SECRET KEY眼霜自信一刻開始

這也 女生 部分 商家 能夠 至少 愛美 香港 開始 說起眼霜這個話題,相信女生們都會對這話題有很多異議。經常見有評論說眼霜只是安慰劑,是商家的營銷手段,是把跟面霜一樣的東西裝在更小的瓶子裏,賣出更貴的價格等等。 確實大部分眼霜在使用過程中效果都微乎其微,幾乎可以忽略不計。

即時通訊App怎樣才能火?背後的技術原理可以5個角度切入

課程 安裝應用 提升 社區 溝通 大數 融合通信 智能 大數據 歡迎大家前往騰訊雲+社區,獲取更多騰訊海量技術實踐幹貨哦~ 本文由騰訊雲視頻發表於雲+社區專欄 關註公眾號“騰訊雲視頻”,一鍵獲取 技術幹貨 | 優惠活動 | 視頻方案 社交場景 iMessage隱藏的

使用delphi+intraweb進行微信開發5—準備實現微信API獲取AccessToken開始 使用delphi+intraweb進行微信開發5—準備實現微信API獲取AccessToken開始

https://www.cnblogs.com/dpower/ 看這個部落格     使用delphi+intraweb進行微信開發5—準備實現微信API,先從獲取AccessToken開始 Posted on  2016-03-30 15:46 Del

使用delphi+intraweb進行微信開發5—準備實現微信API獲取AccessToken開始

由於 實例 一次 end lan con class 就是 參數 在前4講中我們已經使iw開發的應用成功和微信進行了對接,再接下來的章節中我們開始逐一嘗試和實現微信的各個API,開始前先來點準備工作 首先需要明確的是,微信的API都是通過https調用實現的,

#月薪9K的Java程式設計師寫的段程式碼竟獲眾多網友讚許:演算法太精妙

作為一名網際網路專案開發者,在工作的過程中遇到Bug是很正常的事情,這是因為在開發的過程中遺漏了部分意想之外的需求,所以才會出現Bug。然而有時候一些程式碼也是類似於Bug這樣的存在,雖然看起來到處都是錯誤,可是卻能正常執行! 如果有想學習java的程式設計師,可來我們的java學習扣qun:7

開發四年的Java程式設計師如何度過自身瓶頸期?

從畢業到現在已經快4年啦,一直在Java的WEB開發行業混跡。我不是牛人,但是自我感覺還算是個合格的程式設計師,有必要寫下自己將近4年來的經歷,給自我以提示,給剛入行的朋友提供點參考。 貌似這一點適應的行業最廣,但是我可以很肯定的說:當你從事web開發一年後,重新找工作時,才會真實的感受到這句話

什麼是微服務架構哪些方面深入理解?

歡迎訪問網易雲社群,瞭解更多網易技術產品運營經驗。 簡單地說,微服務架構就是以業務域或業務功能為邊界,將一個大而全的應用拆分為可以獨立開發,獨立部署,獨立測試,獨立執行的一組小的應用,並且使用輕量級,通用的機制在這組應用間進行通訊。 拿著顯微鏡看微服務架構,品讀 Martin Fowler 的定義,可能

提高情商方面做

談情商這個話題前,先給大家說下前天親身經歷的一件事。 前天跟公司商務一起去客戶現場,其中2個細節給我留下了很深的印象,一是在去客戶那裡前,商務除了把客戶地址和時間點發我,還發了從我住處到客戶那的最佳行車路線。她其實只發地址就行,但她詳細問了我的位置,不久便發來了最佳行程路線。真的很貼心,讓我對她