Logback配置檔案這麼寫，TPS提高10倍
阿新 • • 發佈：2019-12-31
通過閱讀本篇文章將瞭解到
- 1.日誌輸出到檔案並根據
LEVEL級別將日誌分類儲存到不同檔案 - 2.通過非同步輸出日誌減少磁碟
IO提高效能 - 3.非同步輸出日誌的原理
配置檔案logback-spring.xml
SpringBoot工程自帶logback和slf4j的依賴，所以重點放在編寫配置檔案上，需要引入什麼依賴，日誌依賴衝突統統都不需要我們管了。logback框架會預設載入classpath下命名為logback-spring或logback的配置檔案。將所有日誌都儲存在一個檔案中檔案大小也隨著應用的執行越來越大並且不好排查問題，正確的做法應該是將error日誌和其他日誌分開，並且不同級別的日誌根據時間段進行記錄儲存。
<?xml version="1.0" encoding="utf-8"?>
<configuration>
<property resource="logback.properties"/>
<appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
<layout class="ch.qos.logback.classic.PatternLayout">
<pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
</layout>
</appender>
<!--獲取比info級別高(包括info級別)但除error級別的日誌-->
<appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>ERROR</level>
<onMatch>DENY</onMatch>
<onMismatch>ACCEPT</onMismatch>
</filter>
<encoder>
<pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
</encoder>
<!--滾動策略-->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!--路徑-->
<fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
<maxHistory>30</maxHistory>
</rollingPolicy>
</appender>
<appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>ERROR</level>
</filter>
<encoder>
<pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
</encoder>
<!--滾動策略-->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!--路徑-->
<fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
<maxHistory>30</maxHistory>
</rollingPolicy>
</appender>
<root level="info">
<appender-ref ref="CONSOLE-LOG" />
<appender-ref ref="INFO-LOG" />
<appender-ref ref="ERROR-LOG" />
</root>
</configuration>複製程式碼 部分標籤說明
- `xml
標籤，必填標籤，用來指定最基礎的日誌輸出級別
- `<appender-ref>`標籤，新增`append`
- ```xml
<append>複製程式碼標籤，通過使用該標籤指定日誌的收集策略
-
name屬性指定appender命名 -
class屬性指定輸出策略，通常有兩種，控制檯輸出和檔案輸出，檔案輸出就是將日誌進行一個持久化。ConsoleAppender將日誌輸出到控制檯- `xml
- `xml
標籤，通過使用該標籤指定過濾策略
- `<level>`標籤指定過濾的型別
- `<encoder>`標籤，使用該標籤下的`<pattern>`標籤指定日誌輸出格式
- ```xml
<rollingPolicy>複製程式碼 標籤指定收集策略，比如基於時間進行收集
-
logback 高階特性非同步輸出日誌
之前的日誌配置方式是基於同步的，每次日誌輸出到檔案都會進行一次磁碟IO。採用非同步寫日誌的方式而不讓此次寫日誌發生磁碟IO，阻塞執行緒從而造成不必要的效能損耗。非同步輸出日誌的方式很簡單，新增一個基於非同步寫日誌的appender，並指向原先配置的appender即可
<!-- 非同步輸出 -->
<appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
<!-- 不丟失日誌.預設的,如果佇列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日誌 -->
<discardingThreshold>0</discardingThreshold>
<!-- 更改預設的佇列的深度,該值會影響效能.預設值為256 -->
<queueSize>256</queueSize>
<!-- 新增附加的appender,最多隻能新增一個 -->
<appender-ref ref="INFO-LOG"/>
</appender>
<appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">
<!-- 不丟失日誌.預設的,最多隻能新增一個 -->
<appender-ref ref="ERROR-LOG"/>
</appender>複製程式碼非同步輸出日誌效能測試
既然能提高效能的話，必須進行一次測試比對，同步和非同步輸出日誌效能到底能提升多少倍？
伺服器硬體
-
CPU六核 - 記憶體 8G
測試工具
Apache Jmeter複製程式碼同步輸出日誌
- 執行緒數：100
-
Ramp-Up Loop(可以理解為啟動執行緒所用時間) ：0 可以理解為100個執行緒同時啟用 - 測試結果
重點關注指標
Throughput【TPS】複製程式碼吞吐量：系統在單位時間內處理請求的數量，在同步輸出日誌中
TPS複製程式碼為
44.2/sec
非同步輸出日誌
- 執行緒數 100
-
Ramp-Up Loop：0 - 測試結果
TPS複製程式碼為
497.5/sec
，
效能提升了10多倍！！！
非同步日誌輸出原理
從logback框架下的Logger.info方法開始追蹤。一路的方法呼叫路徑如下圖所示：
非同步輸出日誌中最關鍵的就是配置檔案中ch.qos.logback.classicAsyncAppenderBaseappend
protected void append(E eventObject) {
if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {
this.preprocess(eventObject);
this.put(eventObject);
}
}複製程式碼通過佇列情況判斷是否需要丟棄日誌，不丟棄的話將它放到阻塞佇列中，通過檢視程式碼，這個阻塞佇列為ArrayBlockingQueueu，預設大小為256，可以通過配置檔案進行修改。Logger.info(...)到append(...)就結束了，只做了將日誌塞入到阻塞佇列的事，然後繼續執行Logger.info(...)下面的語句了。 在AsyncAppenderBase類中定義了一個Worker執行緒，run方法中的關鍵部分程式碼如下:
E e = parent.blockingQueue.take();
aai.appendLoopOnAppenders(e);複製程式碼從阻塞佇列中取出一個日誌，並呼叫AppenderAttachableImpl類中的appendLoopOnAppenders方法維護一個Append列表。Worker執行緒中呼叫方法過程主要如下圖：
最主要的兩個方法就是encodewriteencode
作者：何甜甜在嗎連結：https://juejin.im/post/5d4d61326fb9a06aff5e5ff5
最後附：專案完整程式碼
非同步輸出日誌
<?xml version="1.0" encoding="utf-8"?>
<configuration>
<property resource="logback.properties"/>
<appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
<layout class="ch.qos.logback.classic.PatternLayout">
<pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
</layout>
</appender>
<!--獲取比info級別高(包括info級別)但除error級別的日誌-->
<appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>ERROR</level>
<onMatch>DENY</onMatch>
<onMismatch>ACCEPT</onMismatch>
</filter>
<encoder>
<pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
</encoder>
<!--滾動策略-->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!--路徑-->
<fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
<maxHistory>30</maxHistory>
</rollingPolicy>
</appender>
<appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>ERROR</level>
</filter>
<encoder>
<pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
</encoder>
<!--滾動策略-->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!--路徑-->
<fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
<maxHistory>30</maxHistory>
</rollingPolicy>
</appender>
<!-- 非同步輸出 -->
<appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
<!-- 不丟失日誌.預設的,最多隻能新增一個 -->
<appender-ref ref="ERROR-LOG"/>
</appender>
<root level="info">
<appender-ref ref="CONSOLE-LOG" />
<appender-ref ref="INFO-LOG" />
<appender-ref ref="ERROR-LOG" />
</root>
</configuration>複製程式碼LOG_ERROR_HOME=C://Users//hetiantian//Desktop//log//error
LOG_INFO_HOME=C://Users//hetiantian//Desktop//log//info複製程式碼