1. 程式人生 > 實用技巧 >Redis、Memcached、Ehcache 三大快取比較

Redis、Memcached、Ehcache 三大快取比較

Ehcache

Java專案廣泛的使用。它是一個開源的、設計於提高在資料從RDBMS中取出來的高花費、高延遲採取的一種快取方案。正因為Ehcache具有健壯性(基於java開發)、被認證(具有apache 2.0 license)、充滿特色(稍後會詳細介紹),所以被用於大型複雜分散式web application的各個節點中。

什麼特色?

1. 夠快

Ehcache的發行有一段時長了,經過幾年的努力和不計其數的效能測試,Ehcache終被設計於large, high concurrency systems.

2. 夠簡單

開發者提供的介面非常簡單明瞭,從Ehcache的搭建到運用執行僅僅需要的是你寶貴的幾分鐘。其實很多開發者都不知道自己用在用Ehcache,Ehcache被廣泛的運用於其他的開源專案

比如:hibernate

3.夠袖珍

關於這點的特性,官方給了一個很可愛的名字small foot print ,一般Ehcache的釋出版本不會到2M,V 2.2.3 才 668KB。

4.夠輕量

核心程式僅僅依賴slf4j這一個包,沒有之一!

5.好擴充套件

Ehcache提供了對大資料的記憶體和硬碟的儲存,最近版本允許多例項、儲存物件高靈活性、提供LRU、LFU、FIFO淘汰演算法,基礎屬性支援熱配置、支援的外掛多

6.監聽器

快取管理器監聽器 (CacheManagerListener)和 快取監聽器(CacheEvenListener),做一些統計或資料一致性廣播挺好用的

如何使用?

夠簡單就是Ehcache的一大特色,自然用起來just so easy!

貼一段基本使用程式碼

CacheManager manager = CacheManager.newInstance("src/config/ehcache.xml");
Ehcache cache = new Cache("testCache", 5000, false, false, 5, 2);
cacheManager.addCache(cache);
  • name:快取名稱。
  • maxElementsInMemory:快取最大個數。
  • eternal:物件是否永久有效,一但設定了,timeout將不起作用。
  • timeToIdleSeconds:設定物件在失效前的允許閒置時間(單位:秒)。僅當eternal=false物件不是永久有效時使用,可選屬性,預設值是0,也就是可閒置時間無窮大。
  • timeToLiveSeconds:設定物件在失效前允許存活時間,最大時間介於建立時間和失效時間之間。僅當eternal=false物件不是永久有效時使用,預設是0.,也就是物件存活時 間無窮大。
  • overflowToDisk:當記憶體中物件數量達到maxElementsInMemory時,Ehcache將會物件寫到磁碟中。
  • diskSpoolBufferSizeMB:這個引數設定DiskStore(磁碟快取)的快取區大小。預設是30MB。每個Cache都應該有自己的一個緩衝區。
  • maxElementsOnDisk:硬碟最大快取個數。
  • diskPersistent: 是否快取虛擬機器重啟期數 據WhetherthediskstorepersistsbetweenrestartsoftheVirtualMachine.Thedefaultvalueisfalse.
  • diskExpiryThreadIntervalSeconds:磁碟失效執行緒執行時間間隔,預設是120秒。
  • memoryStoreEvictionPolicy:當達到maxElementsInMemory限制時,Ehcache將會根據指定的策略去清理記憶體。預設策略是LRU。你可以設定為 FIFO或是LFU。
  • clearOnFlush:記憶體數量最大時是否清除。

memcache

memcache 是一種高效能、分散式物件快取系統,最初設計於緩解動態網站資料庫載入資料的延遲性,你可以把它想象成一個大的記憶體HashTable,就是一個key-value鍵值快取。Danga Interactive為了LiveJournal所發展的,以BSD license釋放的一套開放原始碼軟體。

1.依賴

memcacheC語言所編寫,依賴於最近版本的GCC和libevent。GCC是它的編譯器,同事基於libevent做socket io。在安裝memcache時保證你的系統同事具備有這兩個環境。

2.多執行緒支援

memcache支援多個cpu同時工作,在memcache安裝檔案下有個叫threads.txt中特別說明,By default, memcached is compiled as a single-threaded application.預設是單執行緒編譯安裝,如果你需要多執行緒則需要修改./configure --enable-threads,為了支援多核系統,前提是你的系統必須具有多執行緒工作模式。開啟多執行緒工作的執行緒數預設是4,如果執行緒數超過cpu數 容易發生操作死鎖的概率。結合自己業務模式選擇才能做到物盡其用。

3.高效能

通過libevent完成socket 的通訊,理論上效能的瓶頸落在網絡卡上。

簡單安裝:

1.分別把memcached和libevent下載回來,放到 /tmp 目錄下:

# cd /tmp

# wget http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz

# wget http://www.monkey.org/~provos/libevent-1.2.tar.gz

2.先安裝libevent:

# tar zxvf libevent-1.2.tar.gz

# cd libevent-1.2

# ./configure -prefix=/usr

# make (如果遇到提示gcc 沒有安裝則先安裝gcc)

# make install

3.測試libevent是否安裝成功:

# ls -al /usr/lib | grep libevent

lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent-1.2.so.1 -> libevent-1.2.so.1.0.3

-rwxr-xr-x 1 root root 263546 11?? 12 17:38 libevent-1.2.so.1.0.3

-rw-r-r- 1 root root 454156 11?? 12 17:38 libevent.a

-rwxr-xr-x 1 root root 811 11?? 12 17:38 libevent.la

lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent.so -> libevent-1.2.so.1.0.3

還不錯,都安裝上了。

4.安裝memcached,同時需要安裝中指定libevent的安裝位置:

# cd /tmp

# tar zxvf memcached-1.2.0.tar.gz

# cd memcached-1.2.0

# ./configure -with-libevent=/usr

# make

# make install

如果中間出現報錯,請仔細檢查錯誤資訊,按照錯誤資訊來配置或者增加相應的庫或者路徑。

安裝完成後會把memcached放到 /usr/local/bin/memcached ,

5.測試是否成功安裝memcached:

# ls -al /usr/local/bin/mem*

-rwxr-xr-x 1 root root 137986 11?? 12 17:39 /usr/local/bin/memcached

-rwxr-xr-x 1 root root 140179 11?? 12 17:39 /usr/local/bin/memcached-debug

啟動memcache服務

啟動Memcached服務:

1.啟動Memcache的伺服器端:

# /usr/local/bin/memcached -d -m 8096 -u root -l 192.168.77.105 -p 12000 -c 256 -P /tmp/memcached.pid

-d選項是啟動一個守護程序,

-m是分配給Memcache使用的記憶體數量,單位是MB,我這裡是8096MB,

-u是執行Memcache的使用者,我這裡是root,

-l是監聽的伺服器IP地址,如果有多個地址的話,我這裡指定了伺服器的IP地址192.168.77.105,

-p是設定Memcache監聽的埠,我這裡設定了12000,最好是1024以上的埠,

-c選項是最大執行的併發連線數,預設是1024,我這裡設定了256,按照你伺服器的負載量來設定,

-P是設定儲存Memcache的pid檔案,我這裡是儲存在 /tmp/memcached.pid,

2.如果要結束Memcache程序,執行:

# cat/tmp/memcached.pid 或者 ps -aux | grep memcache (找到對應的程序id號)

# kill 程序id號

也可以啟動多個守護程序,不過埠不能重複。

memcache 的連線

telnet ip port

注意連線之前需要再memcache服務端把memcache的防火牆規則加上

-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT

重新載入防火牆規則

service iptables restart

OK ,現在應該就可以連上memcache了

在客戶端輸入stats 檢視memcache的狀態資訊

pid memcache伺服器的程序ID

uptime 伺服器已經執行的秒數

time 伺服器當前的unix時間戳

version memcache版本

pointer_size 當前作業系統的指標大小(32位系統一般是32bit)

rusage_user 程序的累計使用者時間

rusage_system 程序的累計系統時間

curr_items 伺服器當前儲存的items數量

total_items 從伺服器啟動以後儲存的items總數量

bytes 當前伺服器儲存items佔用的位元組數

curr_connections 當前開啟著的連線數

total_connections 從伺服器啟動以後曾經開啟過的連線數

connection_structures 伺服器分配的連線構造數

cmd_get get命令 (獲取)總請求次數

cmd_set set命令 (儲存)總請求次數

get_hits 總命中次數

get_misses 總未命中次數

evictions 為獲取空閒記憶體而刪除的items數(分配給memcache的空間用滿後需要刪除舊的items來得到空間分配給新的items)

bytes_read 讀取位元組數(請求位元組數)

bytes_written 總髮送位元組數(結果位元組數)

limit_maxbytes 分配給memcache的記憶體大小(位元組)

threads 當前執行緒數

redis

Redis是 在memcache之後編寫的,大家經常把這兩者做比較,如果說它是個key-value store 的話但是它具有豐富的資料型別,我想暫時把它叫做快取資料流中心,就像現在物流中心那樣,order、package、store、 classification、distribute、end。現在還很流行的LAMPPHP架構不知道和 redis+MySQL或者 redis +MongoDB的效能比較(聽群裡的人說mongodb分片不穩定)。

先說說reidis的特性

1. 支援持久化

redis的本地持久化支援兩種方式:RDB和AOF。RDB 在redis.conf配置檔案裡配置持久化觸發器,AOF指的是redis沒增加一條記錄都會儲存到持久化檔案中(儲存的是這條記錄的生成命令),如果 不是用redis做DB用的話還會不要開AOF ,資料太龐大了,重啟恢復的時候是一個巨大的工程!

2.豐富的資料型別

redis 支援 String 、Lists、sets、sorted sets、hashes 多種資料型別,新浪微博會使用redis做nosql主要也是它具有這些型別,時間排序、職能排序、我的微博、發給我的這些功能List 和 sorted set

的強大操作功能息息相關

3.高效能

這點跟memcache很想象,記憶體操作的級別是毫秒級的比硬碟操作秒級操作自然高效不少,較少了磁頭尋道、資料讀取、頁面交換這些高開銷的操作!這也是NOSQL冒出來的原因吧,應該是高效能

是基於RDBMS的衍生產品,雖然RDBMS也具有快取結構,但是始終在app層面不是我們想要的那麼操控的。

4.replication

redis提供主從複製方案,跟mysql一樣增量複製而且複製的實現都很相似,這個複製跟AOF有點類似複製的是新增記錄命令,主庫新增記錄將新增指令碼 傳送給從庫,從庫根據指令碼生成記錄,這個過程非常快,就看網路了,一般主從都是在同一個區域網,所以可以說redis的主從近似及時同步,同事它還支援一 主多從,動態新增從庫,從庫數量沒有限制。 主從庫搭建,我覺得還是採用網狀模式,如果使用鏈式(master-slave-slave-slave-slave·····)如果第一個slave出 現宕機重啟,首先從master 接收 資料恢復指令碼,這個是阻塞的,如果主庫資料幾TB的情況恢復過程得花上一段時間,在這個過程中其他的slave就無法和主庫同步了。

5.更新快

這點好像從我接觸到redis到目前為止 已經發了大版本就4個,小版本沒算過。redis作者是個非常積極的人,無論是郵件提問還是論壇發帖,他都能及時耐心的為你解答,維護度很高。有人維護的 話,讓我們用的也省心和放心。目前作者對redis 的主導開發方向是redis的叢集方向。

redis的安裝

redis的安裝其實還是挺簡單的,總的來說就三步:下載tar包,解壓tar包,安裝。

不過最近我在2.6.7後用centos 5.5 32bit 時碰到一個安裝問題,下面我就用圖片分享下安裝過程碰到的問題,在redis 資料夾內執行make時有個如下的錯undefined reference to '__sync_add_and_fetch_4'

上網找了了好多最後在 https://github.com/antirez/redis/issues/736 找到解決方案,write CFLAGS= -march=i686 on src/Makefile head!

記得要把剛安裝失敗的檔案刪除,重新解壓新的安裝檔案,修改Makefile檔案,再make安裝。就不會發現原來那個錯誤了

關於redis的一些屬性註釋和基本型別操作在上一篇redis 的開胃菜有詳細的說明,這裡就不再重複累贅了(實質是想偷懶 ,哈哈!)

最後,把memcache和redis放在一起不得不會讓人想到兩者的比較,誰快誰好用啊,群裡面已經為這個事打架很久了,我就把我看到的在這裡跟大家分享下。

在別人發了一個memcache效能比redis好很多後,redis 作者 antirez 發表了一篇博文,主要是說到如何給redis 和 memcache 做壓力測試,文中講到有個人說許多開源軟體都應該丟進廁所,因為他們的壓力測試指令碼太2了,作者對這個說明了一番。redis vs memcache isdefinitely an apple to apple comparison。 呵呵,很明確吧,兩者的比較是不是有點雞蛋挑骨頭的效果,作者在相同的執行環境做了三次測試取多好的值,得到的結果如下圖:

需要申明的是此次測試在單核心處理的過程的資料,memcache是支援多核心多執行緒操作的(預設沒開)所以在預設情況下上圖具有參考意義,若然則 memcache快於redis。那為什麼redis不支援多執行緒多核心處理呢?作者也發表了一下自己的看法,首先是多執行緒不變於bug的修復,其實是不 易軟體的擴充套件,還有資料一致性問題因為redis所有的操作都是原子操作,作者用到一個詞nightmare 噩夢,呵呵! 當然不支援多執行緒操作,肯定也有他的弊端的比如效能想必必然差,作者從2.2版本後專注redis cluster的方向開發來緩解其效能上的弊端,說白了就是縱向不行,橫向提高。

應用場景:

ehcache直接在jvm虛擬機器中快取,速度快,效率高;但是快取共享麻煩,叢集分散式應用不方便。

redis是通過socket訪問到快取服務,效率比ecache低,比資料庫要快很多,處理叢集和分散式快取方便,有成熟的方案。
如果是單個應用或者對快取訪問要求很高的應用,用ehcache。
如果是大型系統,存在快取共享、分散式部署、快取內容很大的,建議用redis。
補充下:ehcache也有快取共享方案,不過是通過RMI或者Jgroup多播方式進行廣播快取通知更新,快取共享複雜,維護不方便;簡單的共享可以,但是涉及到快取恢復,大資料快取,則不合適
redis和memcached相比的獨特之處:
1、redis可以用來做儲存(storage),而memcached是用來做快取(cache)
這個特點主要因為其有持久化功能
2、redis中儲存的資料有多種結構,而memcached儲存的資料只有一種型別“字串”

第二種理解:

第一:兩者之間的介紹

Redis:屬於獨立的執行程式,需要單獨安裝後,使用JAVA中的Jedis來操縱。因為它是獨立,所以如果你寫個單元測試程式,放一些資料在Redis中,然後又寫一個程式去拿資料,那麼是可以拿到這個資料的。,

ehcache:與Redis明顯不同,它與java程式是綁在一起的,java程式活著,它就活著。譬如,寫一個獨立程式放資料,再寫一個獨立程式拿資料,那麼是拿不到資料的。只能在獨立程式中才能拿到資料。

第二:使用及各種配置:

兩者都可以叢集:

1.Redis可以做主從來叢集,例如,在A電腦上裝個Redis,作為主庫;在其他電腦上裝Redis,作為從庫;這樣主庫擁有讀和寫的功能,而從庫只擁有讀的功能。每次主庫的資料都會同步到從庫中。

1.預設方式啟動

1 2 3 4 5 Linux下使用Redis 安裝:從官網上下載tar.gz格式的包,然後使用tar zxvf redis-2.8.24.tar.gz命令解壓,然後進入Redis資料夾目錄下的src目錄,使用make編譯一下 1.開啟:進入/usr/local/redis-3.2.1/src 然後./redis-server

2.如果我們想修改埠,設定密碼:那麼得修改配置檔案的redis.conf

port 6379 //埠修改

requirepass redis123 //設定密碼 redis123為密碼

配置主從:主庫的配置檔案不用修改,從庫的配置檔案需要修改,因為從庫需要繫結主庫,以便可以獲取主庫的資料

slaveof 192.168.1.100 6379 //主庫的IP地址和埠號
masterauth redis123 //主庫設定的密碼

3.要讓配置檔案的屬性生效,那麼啟動的redis的時候,要將配置檔案加上去

進入/usr/local/redis-3.2.1/src

然後./redis-server redis.conf

那麼將成功的啟動redis,如果沒有加入配置的話,按照普通方式啟動的話,埠仍然還是6379.

4.客戶端連線遠端的Redis
第一步:在遠端端處設定密碼:config set requirepass 123 //123為密碼
第二步:可以在客戶端登入 redis-cli.exe -h 114.215.125.42 -p 6379
第三步:認證:auth 123 //123為密碼
本地端設定密碼後,要使用密碼登入;如果Redis重啟的話,密碼需要重新設定

5.主從配置後,為保證主庫寫的能力,一般不在主庫做持久化,而是在從庫做持久化:

主庫配置:

將save註釋,不使用rdb

# save 900 1
# save 300 10
# save 60 10000

appendonly no 不使用aof

從庫配置:

save 900 1
save 300 10
save 60 10000

appendonly yes

這樣做的優缺點:

優點:保證了主庫寫的能力。

缺點:主庫掛掉後,重啟主庫,然後進行第一次寫的動作後,主庫會先生成rdb檔案,然後傳輸給從庫,從而覆蓋掉從庫原先的rdb檔案,造成資料丟失。但是第二次寫的時候,主庫會以快照方式直接傳資料給從庫,不會重新生成rdb檔案。

解決方案:先複製從庫中的資料到主庫後,再啟動主庫。

使用:

引入jedis包

    <dependency>  
        <groupId>redis.clients</groupId>  
        <artifactId>jedis</artifactId>  
        <version>2.7.3</version>  
    </dependency>  

簡單的寫個類玩玩吧







    public class RedisMain {  
          
          
        public static void main(String [] str)  
        {  
              
             Jedis jedis = new Jedis("114.215.125.42",6379);  
             jedis.auth("123");     //密碼認證  
              System.out.println("Connection to server sucessfully");  
              //檢視服務是否執行  
              jedis.set("user","namess");  
             // System.out.println("Server is running: "+jedis.ping());  
              System.out.println(jedis.get("user").toString());  
              jedis.set("user","name");  
              System.out.println(jedis.get("user"));  
                
      
        }  
      
    }  

Redis完畢

下面說說Ehcache:

Ehcache的使用:
1.首先引入包






    <dependency>  
               <groupId>net.sf.ehcache</groupId>  
               <artifactId>ehcache-core</artifactId>  
               <version>2.6.6</version>  
           </dependency>  
       
           <dependency>  
               <groupId>org.slf4j</groupId>  
               <artifactId>slf4j-log4j12</artifactId>  
               <version>1.6.6</version>  
           </dependency>  

2.建立一個ehcache.xml檔案,裡面配置cache的資訊,這個配置是包含了叢集的配置:與192.168.93.129:40001的 機器叢集了:Ip為192.168.93.129機子的配置要將rmiUrls對應的資料改為這個配置檔案的機子的IP地址,和對應的快取名字







    <ehcache xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  
       xsi:noNamespaceSchemaLocation="ehcache.xsd">  
        <cacheManagerPeerProviderFactory   
       class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory"  
    properties="peerDiscovery=manual,rmiUrls=//192.168.93.129:40001/demoCache"/>           <!--另一臺機子的ip快取資訊-->  
    <cacheManagerPeerListenerFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerListenerFactory"  
    properties="hostName=localhost,port=40001,socketTimeoutMillis=2000" />                  <!--hostName代表本機子的ip-->     
      <diskStore path="java.io.tmpdir"/>  
      <defaultCache  
        maxElementsInMemory="10000"  
        maxElementsOnDisk="0"  
        eternal="true"  
        overflowToDisk="true"  
        diskPersistent="false"  
        timeToIdleSeconds="0"  
        timeToLiveSeconds="0"  
        diskSpoolBufferSizeMB="50"  
        diskExpiryThreadIntervalSeconds="120"  
        memoryStoreEvictionPolicy="LFU"  
        >  
         <cacheEventListenerFactory    
                    class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"/>                
        </defaultCache>  
      <cache name="demoCache"  
        maxElementsInMemory="100"  
        maxElementsOnDisk="0"  
        eternal="false"  
        overflowToDisk="false"  
        diskPersistent="false"  
        timeToIdleSeconds="119"  
        timeToLiveSeconds="119"  
        diskSpoolBufferSizeMB="50"  
        diskExpiryThreadIntervalSeconds="120"  
        memoryStoreEvictionPolicy="FIFO"  
        >  
        <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"/>          <!--監聽這個cache-->  
        </cache>  
    </ehcache>  

配置完後寫程式碼:

放資料:







    @RequestMapping("/testehcache.do")  
        public void testehcache(HttpServletResponse response) throws IOException  
        {  
            URL url = getClass().getResource("ehcache.xml");   
             CacheManager singletonmanager = CacheManager.create(url);  
            Cache cache = singletonmanager.getCache("demoCache");  
            //使用快取  
            Element element = new Element("key1", "value1");  
            cache.put(element);  
            cache.put(new Element("key2", "value2"));  
             
            response.getWriter().println("我存放了資料");  
        }  

拿資料:

@RequestMapping("/getcache.do")  
    public void getcache(HttpServletResponse response) throws IOException  
    {  
        CacheManager singletonmanager = CacheManager.create();   
        Cache cache = singletonmanager.getCache("demoCache");  
        String one=cache.get("key1").getObjectValue().toString();  
        String two=cache.get("key2").getObjectValue().toString();  
        response.getWriter().println(one+two);  
    } 

配置集群后,A機器放資料,在B機器上能拿到資料,B機器放資料,A機器也可以拿到資料

轉自:https://www.cnblogs.com/qlqwjy/p/7788912.html