記一次臨近上執行緒序發生OOM

故事背景

最近一直在趕著應用上線,基本已經封包準備上線了,誰都不想在這時間點上出差錯~

當時應用已經上線pre,壓力測試已經通過,然而昨天下午測試組的同事突然找到我,說我的應用沒有消費kafka的資料,其他應用都已經同步消費了,搞得我一臉懵逼.

首先先上Consul上看服務的情況.發現pre上面除了我的應用,其他的都還健在！！！！(心裡有點方~)

趕緊連上伺服器檢視應用,發現日誌在停留在19號凌晨1點多.

[2019-07-19 01:46:33] [WARN ] [dc16dc8a-79d8-4ec5-adca-3f7bdff7bb7d] [http-nio-6030-exec-7] [AbstractHandlerExceptionResolver.java:140] [org.springframework.web.servlet.mvc.method.annotation.ExceptionHandlerExceptionResolver] : Resolved [org.springframework.web.util.NestedServletException: Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: GC overhead limit exceeded]
 

然後趕緊重啟讓測試同事去驗證資料同步~

排查問題

由於伺服器記憶體吃緊(8G),然後又需要部署好多個應用,預設啟動JVM引數設定得比較低(-Xms256m -Xmx512m -Xmn128m -XX:MaxPermSize=64m)~

由於沒有加上OOM dump引數,所以那時候也沒辦法去定位問題,只能是在本地將問題復現了.

1. 首先在本地設定同樣的JVM引數,再加上發生OOM dump的路徑

-Xms256m -Xmx512m -Xmn128m -XX:MaxPermSize=64m -XX:ErrorFile=G:/heap/dump/hs_err_pid%p.log  -XX:HeapDumpPath=G:/heap/dump -XX:+HeapDumpOnOutOfMemoryError
 

然後讓程式跑一段時間,程式果真復現了！！！同時在我們設定好的發生OOM生成對應的堆檔案.

[2019-07-20 11:01:50] [ERROR] [c8dc279e-1e7e-4a1a-b646-0203f23e7ba6] [http-nio-6030-exec-116] [AdviceController.java:48] [com.ost.micro.scheduler.strategy.controller.AdviceController] : {}
org.springframework.web.util.NestedServletException: Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: GC overhead limit exceeded
	at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1006)
	at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:925)
	at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:974)
	at org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:877)
 

讓我們看一下現在的JVM堆圖:

堆記憶體一直不回收,導致了OOM.

開啟Eclipse Memory Analyzer 分析生成的dump檔案.我們發現org.drools.core.impl.KnowledgeBaseImpl佔據了72%!!!

解決問題

工作原因,接觸到了drools這個規則引擎,上面發現的問題明顯就是使用drools整出來的,由於程式裡面KieBase設定的是單例,那麼問題應該不是出在它身上。

先來看一下使用drools的程式碼~

public <T extends IRule> Integer execute(T t) {
    KieSession session = this.session();
    session.insert(t);
    int size = session.fireAllRules();
    if (Objects.nonNull(t.getIError())){
        throw new PayStrategyException(t.getIError());
    }
    return size;
}

此時我就在懷疑,是不是KieSession沒關閉導致的問題?看了一下獲取KieSession的描述~

/**
 * Creates a new {@link KieSession} using the default session configuration.
 * Don't forget to {@link KieSession#dispose()} session when you are done.
 *
 * @return created {@link KieSession}
 */

寫的很清楚,當執行完了之後,必須執行dispose()方法回收該session.修改程式碼如下

public <T extends IRule> Integer execute(T t) {
    KieSession session = null;
    try {
        session = this.session();
        session.insert(t);
        int size = session.fireAllRules();
        if (Objects.nonNull(t.getIError())) {
            throw new PayStrategyException(t.getIError());
        }
        return size;
    } finally {
        if (Objects.nonNull(session)) {
            session.dispose();
        }
    }
}

設定一下JVM引數(-Xmx1344M -Xms1344M -Xmn448M -XX:MaxMetaspaceSize=256M -XX:MetaspaceSize=256M -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:+ExplicitGCInvokesConcurrentAndUnloadsClasses -XX:+CMSClassUnloadingEnabled -XX:+ParallelRefProcEnabled -XX:+CMSScavengeBeforeRemark), 重新跑一下JVM堆如下圖:

寫在最後

由於對Drools這個工作引擎不熟悉,所以差點搞出問題,看來還是要多看看官方的文件,記下此次事故提醒自己~

最後推薦一下生成JVM引數的網址http://xxfox.perfma.com/jvm/generate

相關推薦