1. 程式人生 > >高頻寫入redis場景優化

高頻寫入redis場景優化

前言

工作中經常遇到要對redis進行高頻寫入,但是對於讀取時資料的實時性要求又不高的場景。為了優化效能,決定採用本地快取一部分資料整合後寫入。

依賴

<dependency>
	<groupId>com.google.guava</groupId>
	<artifactId>guava</artifactId>
	<version>19.0-rc2</version>
</dependency>
複製程式碼

基礎類

 public class BufferCache implements Closeable
{ // CacheBuilder的建構函式是私有的,只能通過其靜態方法newBuilder()來獲得CacheBuilder的例項 private Cache localCacheData; private static int maxItemSize = 1000; private static String key = "defaultKey"; private static final Object lock = new Object(); public BufferCache(String key, int currencyLevel, int
writeExpireTime, int accessExpireTime, int initialCapacity, int maximumSize, int maxItemSize, RemovalListener removalListener)
{ currencyLevel = currencyLevel < 1 ? 1 : currencyLevel; initialCapacity = initialCapacity < 100 ? 100 : initialCapacity; if
(key!=null&&key.isEmpty()) { BufferCache.key = key; } BufferCache.maxItemSize = maxItemSize; localCacheData = CacheBuilder.newBuilder() // 設定併發級別為8,併發級別是指可以同時寫快取的執行緒數 .concurrencyLevel(currencyLevel) // 設定寫快取後expireTime秒鐘過期 .expireAfterWrite(writeExpireTime, TimeUnit.SECONDS) // 設定請求後expireTime秒鐘過期 .expireAfterAccess(accessExpireTime, TimeUnit.SECONDS) // 設定快取容器的初始容量為10 .initialCapacity(initialCapacity) // 設定快取最大容量為Integer.MAX_VALUE,超過Integer.MAX_VALUE之後就會按照LRU最近雖少使用演算法來移除快取項 .maximumSize(maximumSize) // 設定要統計快取的命中率 .recordStats() // 設定快取的移除通知 .removalListener(removalListener) // build方法中可以指定CacheLoader,在快取不存在時通過CacheLoader的實現自動載入快取 .build(); Runtime.getRuntime().addShutdownHook( new Thread(() -> localCacheData.invalidate(key))); } public void addListSync(String key, Object value) { synchronized (lock) { List<Object> gs = (List<Object>) localCacheData.getIfPresent(key); if (gs == null) { gs = new ArrayList<>(); } gs.add(value); localCacheData.put(key, gs); // 如果佇列長度超過設定最大長度則清除key if (gs.size() > maxItemSize) { localCacheData.invalidate(key); } } } public void addListSync(Object value) { addListSync(BufferCache.key, value); } @Override public void close() { localCacheData.invalidate(key); } } 複製程式碼

採用 google 的 cache,利用其監聽事件(詳見 com.google.common.cache.RemovalCause 類)觸發寫入redis操作,addListSync方法中使用 synchronized 進行加鎖,防止高併發場景下List資料錯誤。

新建配置檔案

cache.key=name
cache.currencyLevel=1
cache.writeExpireTime=900
cache.accessExpireTime=600
cache.initialCapacity=1
cache.maximumSize=1000
cache.maxItemSize=1000
複製程式碼

針對不同業務場景可以自定義不同的配置引數

業務實現

@Configuration
@ConditionalOnResource(resources = "bufferCache.properties")
@PropertySource(value = "bufferCache.properties", ignoreResourceNotFound = true)
public class GuildCacheConfig implements ApplicationContextAware {
	private ApplicationContext ctx;

	@Bean("buffCache")
	@ConditionalOnProperty(prefix = "cache", value = "currencyLevel")
	public BufferCache guildBuffCache(@Value("${cache.key}") String key,
			@Value("${cache.currencyLevel}") int currencyLevel,
			@Value("${cache.writeExpireTime}") int writeExpireTime,
			@Value("${cache.accessExpireTime}") int accessExpireTime,
			@Value("${cache.initialCapacity}") int initialCapacity,
			@Value("${cache.maximumSize}") int maximumSize,
			@Value("${cache.maxItemSize}") int maxItemSize) {

		// 非同步監聽
		RemovalListener<String, List<GuildActiveEventEntity>> async = RemovalListeners
				.asynchronous(new MyRemovalListener(),
						ExecutorServiceUtil.getExecutorServiceByType(
								ExecutorServiceUtil.ExecutorServiceType.BACKGROUND));
		return new BufferCache(key, currencyLevel, writeExpireTime,
				accessExpireTime, initialCapacity, maximumSize, maxItemSize,
				async);
	}

	@Override
	public void setApplicationContext(ApplicationContext applicationContext)
			throws BeansException {
		ctx = applicationContext;
	}

	// 建立一個監聽器
	private class MyRemovalListener
			implements RemovalListener<String, List<GuildActiveEventEntity>> {
		@Override
		public void onRemoval(
				RemovalNotification<String, List<GuildActiveEventEntity>> notification) {
			RemovalCause cause = notification.getCause();

			// 當超出快取佇列限制大小時或者key過期或者主動清除key時更新資料
			if (cause.equals(RemovalCause.SIZE)
					|| cause.equals(RemovalCause.EXPIRED)
					|| cause.equals(RemovalCause.EXPLICIT)) {
				//根據不同業務場景呼叫不同業務方法進行寫入操作
			}

		}
	}
}

複製程式碼

此類實現 ApplicationContextAware 為了獲取指定業務方法 Bean ,進行解析快取中value模型後進行儲存。 在以上幾個步驟都完成後,只需在業務層聲名

@Autowired
private BufferCache buffCache;
複製程式碼

呼叫其addListSync方法即可。

總結

總體思路是使用本地快取去分擔高頻寫的壓力,此方法其實不僅僅適用與redis的寫入,還可用於其他場景,具體使用方法可以按照業務場景自己擴充套件。