Java快取技術
阿新 • • 發佈:2018-12-30
原文地址:http://cogipard.info/articles/cache-static-files-with-jnotify-and-ehcache
在Java Web專案中,為了提高WEB應用的響應速度,可以把常用的靜態檔案(包括css,js和其他各種圖片)提前讀入到記憶體快取中,這樣可以減少很多檔案系統的IO操作(這往往也是專案效能的瓶頸之一)。但是這麼做往往有一個弊端,那就是當實際的靜態檔案發生改變的時候,快取並不能得到及時的重新整理,造成了一定的滯後現象。有些專案可能沒什麼問題,但是對於某些專案而言,必須解決這個問題。辦法基本有兩種,一種是另外開啟一個執行緒,不斷的掃描檔案,和快取的檔案做比較,確定該檔案是否修改,另外就是使用系統的API,來監控檔案的改變。前面一種解決辦法缺點很明顯,費時費力,後面的辦法需要用到JNI,並且編寫一些系統的本地庫函式,幸運的是,JNoify為我們做好了準備工作,直接拿來用就可以了。
本文會簡單給出一個利用JNotify和EHCache實現靜態檔案快取的一個小例子。
介紹
JNotify:http://jnotify.sourceforge.net/,通過JNI技術,讓Java程式碼可以實時的監控制定資料夾內檔案的變動資訊,支援Linux/Windows/MacOS;
EHCache:http://ehcache.org/,一個廣泛使用的Java快取模組,可以做使用記憶體和檔案完成快取工作。在Java Web專案中,為了提高WEB應用的響應速度,可以把常用的靜態檔案(包括css,js和其他各種圖片)提前讀入到記憶體快取中,這樣可以減少很多檔案系統的IO操作(這往往也是專案效能的瓶頸之一)。但是這麼做往往有一個弊端,那就是當實際的靜態檔案發生改變的時候,快取並不能得到及時的重新整理,造成了一定的滯後現象。有些專案可能沒什麼問題,但是對於某些專案而言,必須解決這個問題。辦法基本有兩種,一種是另外開啟一個執行緒,不斷的掃描檔案,和快取的檔案做比較,確定該檔案是否修改,另外就是使用系統的API,來監控檔案的改變。前面一種解決辦法缺點很明顯,費時費力,後面的辦法需要用到JNI,並且編寫一些系統的本地庫函式,幸運的是,JNoify為我們做好了準備工作,直接拿來用就可以了。
本文會簡單給出一個利用JNotify和EHCache實現靜態檔案快取的一個小例子。
JNotify的準備
在使用JNotify之前,你需要“安裝”一下JNotify。JNotify使用了JNI技術來呼叫系統的本地庫(Win下的是dll檔案,Linux下是so檔案),這些庫檔案都已經包含在下載包中了。但是如果你直接使用JNotify的話,往往會報錯:
BASH java.lang.UnsatisfiedLinkError: no jnotify in java.library.path at java.lang.ClassLoader.loadLibrary(Unknown Source) at java.lang.Runtime.loadLibrary0(Unknown Source) at java.lang.System.loadLibrary(Unknown Source) at net.contentobjects.jnotify.win32.JNotify_win32.<clinit>(Unknown Source) at net.contentobjects.jnotify.win32.JNotifyAdapterWin32.<init>(Unknown Source)
這是由於jnotify找不到需要的dll或者其他庫檔案導致的,解決辦法是把jnotify壓縮包裡的庫檔案放到java.library.path所指向的資料夾中,一般在windows下可以放在[jre安裝目錄]/bin下即可。 java.library.path的值可以通過System.getProperty("java.library.path")檢視,但是你即使在程式中通過System.setProperty("java.library.path", "some/folder/path/contain/dll")來改變java.library.path的值,還是無法載入到對應的dll庫檔案,原因是JVM只在程式載入之初讀取java.library.path,以後再使用java.library.path的時候,用的都是最一開始載入到得那個值。有人認為只是一個bug,並且報告給了SUN(http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=4280189)但是好像SUN不認為這是一個BUG。 除了把dll檔案放到[jre安裝目錄]/bin下,也可以手動指定程式的啟動引數: java -Djava.library.path=some/folder/path/contain/dll的方法來達到目的。 EHCache的基本使用方法 EHCache非常容易使用,首先我們要獲得一個CacheManager的例項。CacheManager有兩種獲得方法,一種是例項模式,一種是單例模式。這裡我們用後面一種:
//CacheManager manager = new CacheManager("src/ehcache.xml");例項模式
CacheManager.create();//單例模式,預設讀取類路徑下的ehcache.xml作為配置檔案
Cache cache = CacheManager.getInstance().getCache("staticResourceCache");
//staticResourceCache在ehcache.xml中提前定義了
ehcache.xml的簡單例子:
<?xml version="1.0" encoding="UTF-8"?>
<ehcache updateCheck="false" dynamicConfig="false">
<diskStore path="java.io.tmpdir"/>
<cache name="staticResourceCache"
maxElementsInMemory="1000"
timeToIdleSeconds="7200"
timeToLiveSeconds="7200" >
</cache>
</ehcache>
然後就可以使用Cache例項來操縱快取了,主要的方法是
Cache.get(Object key),
Cache.put(new Element(Object key, Object value)),
Cache.remove(Object key)。
快取靜態檔案
首先需要掃描包含靜態檔案的資料夾,為了方便我們採用Jodd工具包:
- import jodd.io.findfile.FilepathScanner;
- ...
- FilepathScanner fs = new FilepathScanner(){
- @Override
- protectedvoid onFile(File file) {
- cacheStatic(file);//快取檔案的函式,實現見後面
- }
- };
- fs.includeDirs(true).recursive(true).includeFiles(true);
- fs.scan(Configurations.THEMES_PATH);//掃描包含靜態檔案的資料夾
一般來說,如果客戶端瀏覽器接受GZip格式的檔案的話,GZip壓縮可以讓傳輸的資料大幅度減少,所以考慮對某些快取的靜態檔案提前進行GZip壓縮。把讀取到的靜態檔案內容快取到Cache裡,如果靜態檔案時可以用GZip來傳輸的話,需要把檔案內容首先進行壓縮。
- import java.util.zip.GZIPOutputStream;//JDK自帶的GZip壓縮工具
- import jodd.io.FastByteArrayOutputStream;//GZip輸出的是位元組流
- import jodd.io.StreamUtil;//JODD的工具類
- privatestaticvoid cacheStatic(File file){
- if(!isStaticResource(file.getAbsolutePath()))
- return;
- String uri = toURI(file.getAbsolutePath());//生成一個檔案標識
- FileInputStream in = null;
- StringBuilder builder = new StringBuilder();
- try {
- in = new FileInputStream(file);
- BufferedReader br = new BufferedReader(
- new InputStreamReader(in, StringPool.UTF_8));
- String strLine;
- while ((strLine = br.readLine()) != null) {
- builder.append(strLine);
- builder.append("\n");//!important
- }
- FastByteArrayOutputStream bao = new FastByteArrayOutputStream();
- GZIPOutputStream go = new GZIPOutputStream(bao);
- go.write(builder.toString().getBytes());
- go.flush();
- go.close();
- cache.put(new Element(uri, bao.toByteArray()));//快取檔案的位元組流
- } catch (FileNotFoundException e) {
- e.printStackTrace();
- } catch (UnsupportedEncodingException e) {
- e.printStackTrace();
- } catch (IOException e) {
- e.printStackTrace();
- } finally {
- StreamUtil.close(in);
- }
- }
當檔案改變的時候,使用JNotify來改變快取內容
- //監控Configurations.THEMES_PATH指向的資料夾
- JNotify.addWatch(Configurations.THEMES_PATH,
- JNotify.FILE_CREATED |
- JNotify.FILE_DELETED |
- JNotify.FILE_MODIFIED |
- JNotify.FILE_RENAMED,
- true, new JNotifyListener(){
- @Override
- publicvoid fileCreated(int wd,
- String rootPath, String name) {
- cacheStatic(new File(rootPath+name));//更新快取
- }
- @Override
- publicvoid fileDeleted(int wd,
- String rootPath, String name) {
- cache.remove(toURI(rootPath)+name);//刪除快取條目
- }
- @Override
- publicvoid fileModified(int wd,
- String rootPath, String name) {
- cacheStatic(new File(rootPath+name));
- }
- @Override
- publicvoid fileRenamed(int wd,
- String rootPath, String oldName,
- String newName) {
- cache.remove(toURI(rootPath)+oldName);
- cacheStatic(new File(rootPath+newName));
- }
- });