記一次線上問題的排查過程
阿新 • • 發佈：2019-01-05
問題描述
前不久運維在例行釋出線上CS系統的時候，發現在服務啟動的過程中，後臺一直在報如下錯誤，同時導致使用者頁面訪問異常
2017-10-10 18:28:51,077 [ERROR] org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$AsyncMessageProcessingConsumer.run(SimpleMessageListenerContainer.java:1289)
Consumer thread error, thread abort.
java.lang.ExceptionInInitializerError
at 經瞭解，當天CS系統沒有做什麼特別的修改，而之前都發布正常。於是通過日誌中的兩個異常java.lang.ExceptionInInitializerError和java.lang.NoClassDefFoundError: Could not initialize class com.jolly.util.common.UserUtils的異常棧推測問題可能出在UserUtils工具類的初始化過程中。
排查過程
根據異常棧，異常發生的入口在mq消費的過程中（專案中使用了rabbitmq），通過跟蹤專案程式碼，其中一個mq listener中確實呼叫了UserUtils工具類中的靜態方法，之前釋出都沒有報錯是因為在釋出的時候監聽的佇列裡面沒有待消費的訊息，而這一次在服務釋出之前佇列裡面就已經累積了很多訊息。那為什麼這次UserUtils會初始化異常而之前都不會呢？
通過對專案整體的瞭解，專案中使用了兩個spring上下文，根上下文和mvc上下文。其中mq消費監聽配置是在根上下文中，UserUtils工具類中有個靜態變數使用了SpringMvcUtil來獲取mvc上下文中的A物件例項，如下
package cn.cjc.share.util;
import org.springframework.beans.BeansException;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;
/**
* @author chenjc
* @since 2017-10-14
*/
public class SpringMvcUtil implements ApplicationContextAware {
private static ApplicationContext applicationContext;
@Override
public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
System.out.println("SpringMvcUtil.setApplicationContext方法呼叫，當前執行緒：" + Thread.currentThread().getName());
SpringMvcUtil.applicationContext = applicationContext;
}
public static <T> T getBean(Class<T> clazz) {
return applicationContext.getBean(clazz);
}
}UserUtils靜態變數如下
private static UserComponent userComponent = SpringMvcUtil.getBean(UserComponent.class);其中SpringMvcUtil和UserComponent（簡稱A物件）都被配置在mvc上下文中，當服務啟動的過程中，先是初始化根上下文，然後非同步執行mq訊息消費，接著再初始化mvc上下文，由於mq的消費和mvc上下文的初始化過程是併發進行的，那麼就有可能在mq消費時呼叫UserUtils類的過程中，mvc上下文還沒有初始化完成，SpringMvcUtil例項還沒有被注入applicationContext，導致初始化UserUtils靜態變數時報空指標異常，進而導致UserUtils載入到JVM失敗，報java.lang.ExceptionInInitializerError，當再次使用UserUtils類時，就直接報java.lang.NoClassDefFoundError了。使用者頁面訪問時也是直接丟擲了類定義找不到錯誤，因為CS系統首頁使用到了UserUtils類。
解決方案（三者取其一即可）
- 將mq消費監聽配置檔案放入到mvc上下文中。
- 將UserUtils引用的A物件配置到根上下文中，然後使用根上下文工具類SpringUtil去獲取。
- 專案中不要配置兩個spring上下文，只需要配置mvc上下文即可。
經驗總結
之前釋出的時候一直沒問題是因為都是在mvc上下文初始化完成後才使用到了UserUtils類，所以儘量避免在根上下文的物件例項中使用mvc上下文中的物件，同時專案能用一個上下文最好使用一個。
樣例程式
為了簡化問題，我寫了個demo程式，先使用MessageProducerTest類來生產訊息到rabbitmq伺服器，然後再啟動服務，即可重現錯誤。