1. 程式人生 > 實用技巧 >[轉] Logback配置檔案這麼寫,TPS提高10倍

[轉] Logback配置檔案這麼寫,TPS提高10倍

作者:何甜甜在嗎

連結:segmentfault.com/a/1190000020041388

1. 通過閱讀本篇文章將瞭解到

  1.日誌輸出到檔案並根據LEVEL級別將日誌分類儲存到不同檔案

  2.通過非同步輸出日誌減少磁碟IO提高效能

  3.非同步輸出日誌的原理

2. 配置檔案logback-spring.xml

  SpringBoot工程自帶logback和slf4j的依賴,所以重點放在編寫配置檔案上,需要引入什麼依賴,日誌依賴衝突統統都不需要我們管了。logback框架會預設載入classpath下命名為logback-spring或logback的配置檔案。將所有日誌都儲存在一個檔案中檔案大小也隨著應用的執行越來越大並且不好排查問題,正確的做法應該是將error日誌和其他日誌分開,並且不同級別的日誌根據時間段進行記錄儲存。

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <property resource="logback.properties"/>
    <appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</
pattern> </layout> </appender> <!--獲取比info級別高(包括info級別)但除error級別的日誌--> <appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender"> <filter class="ch.qos.logback.classic.filter.LevelFilter"> <level>ERROR</
level> <onMatch>DENY</onMatch> <onMismatch>ACCEPT</onMismatch> </filter> <encoder> <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern> </encoder> <!--滾動策略--> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <!--路徑--> <fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern> <maxHistory>30</maxHistory> </rollingPolicy> </appender> <appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender"> <filter class="ch.qos.logback.classic.filter.ThresholdFilter"> <level>ERROR</level> </filter> <encoder> <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern> </encoder> <!--滾動策略--> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <!--路徑--> <fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern> <maxHistory>30</maxHistory> </rollingPolicy> </appender> <root level="info"> <appender-ref ref="CONSOLE-LOG" /> <appender-ref ref="INFO-LOG" /> <appender-ref ref="ERROR-LOG" /> </root> </configuration>

  部分標籤說明

  <root>標籤,必填標籤,用來指定最基礎的日誌輸出級別

    <appender-ref>標籤,新增append

  <append>標籤,通過使用該標籤指定日誌的收集策略

    name屬性指定appender命名

    class屬性指定輸出策略,通常有兩種,控制檯輸出和檔案輸出,檔案輸出就是將日誌進行一次持久化。ConsoleAppender將日誌輸出到控制檯

  <filter>標籤,通過使用該標籤指定過濾策略

    <level>標籤指定過濾的型別

  <encoder>標籤,使用該標籤下的<pattern>標籤指定日誌輸出格式

  <rollingPolicy>標籤指定收集策略,比如基於時間進行收集

    <fileNamePattern>標籤指定生成日誌儲存地址

  通過這樣配置已經實現了分類分天收集日誌的目標了

3. logback 高階特性非同步輸出日誌

  之前的日誌配置方式是基於同步的,每次日誌輸出到檔案都會進行一次磁碟IO。採用非同步寫日誌的方式而不讓此次寫日誌發生磁碟IO,阻塞執行緒從而造成不必要的效能損耗。非同步輸出日誌的方式很簡單,新增一個基於非同步寫日誌的appender,並指向原先配置的appender即可。

    <!-- 非同步輸出 -->
    <appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丟失日誌.預設的,如果佇列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日誌 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改預設的佇列的深度,該值會影響效能.預設值為256 -->
        <queueSize>256</queueSize>
        <!-- 新增附加的appender,最多隻能新增一個 -->
        <appender-ref ref="INFO-LOG"/>
    </appender>

    <appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丟失日誌.預設的,如果佇列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日誌 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改預設的佇列的深度,該值會影響效能.預設值為256 -->
        <queueSize>256</queueSize>
        <!-- 新增附加的appender,最多隻能新增一個 -->
        <appender-ref ref="ERROR-LOG"/>
    </appender>

4. 非同步輸出日誌效能測試

  既然能提高效能的話,必須進行一次測試比對,同步和非同步輸出日誌效能到底能提升多少倍?

  伺服器硬體:CPU 六核 ,記憶體 8G

  測試工具:Apache Jmeter

  同步輸出日誌:執行緒數:100  Ramp-Up Loop(可以理解為啟動執行緒所用時間) :0

  可以理解為100個執行緒同時啟用

  重點關注指標Throughput【TPS】吞吐量:系統在單位時間內處理請求的數量,在同步輸出日誌中TPS為44.2/sec

  非同步輸出日誌:執行緒數 100 Ramp-Up Loop:0 測試結果:TPS為497.5/sec,效能提升了10多倍!!!

5. 非同步日誌輸出原理

  從logback框架下的Logger.info方法開始追蹤。一路的方法呼叫路徑如下圖所示:

  非同步輸出日誌中最關鍵的就是配置檔案中ch.qos.logback.classic包下AsyncAppenderBase類中的append方法,檢視該方法的原始碼:

protected void append(E eventObject) {
    if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {
        this.preprocess(eventObject);
        this.put(eventObject);
    }
}

  通過佇列情況判斷是否需要丟棄日誌,不丟棄的話將它放到阻塞佇列中,通過檢視程式碼,這個阻塞佇列為ArrayBlockingQueueu,預設大小為256,可以通過配置檔案進行修改。Logger.info(...)到append(...)就結束了,只做了將日誌塞入到阻塞佇列的事,然後繼續執行Logger.info(...)下面的語句了。在AsyncAppenderBase類中定義了一個Worker執行緒,run方法中的關鍵部分程式碼如下:

E e = parent.blockingQueue.take();
aai.appendLoopOnAppenders(e);

  從阻塞佇列中取出一個日誌,並呼叫AppenderAttachableImpl類中的appendLoopOnAppenders方法維護一個Append列表。Worker執行緒中呼叫方法過程主要如下圖:

  最主要的兩個方法就是encode和write方法,前一個法方會根據配置檔案中encode指定的方式轉化為位元組碼,後一個方法將轉化成的位元組碼寫入到檔案中去。所以寫檔案是通過新起一個執行緒去完成的,主執行緒將日誌扔到阻塞佇列中,然後又去做其他事情了。