Spring Boot (四): Druid 連線池密碼加密與監控
在上一篇文章《Spring Boot (三): ORM 框架 JPA 與連線池 Hikari》 我們介紹了 JPA 與連線池 Hikari 的整合使用,在國內使用比較多的連線池還有一個是阿里開源的 Druid 。本篇文章我們就來聊一聊 Druid 的一些使用姿勢。
1. Druid 是什麼?
我們先來看一下官方的回答:
Druid 是 Java 語言中最好的資料庫連線池。 Druid 能夠提供強大的監控和擴充套件功能。
說 Druid 是 Java 語言中最好的資料庫連線池,這個筆者個人覺得有些吹牛了,至少在效能上和我們上一篇介紹的 Hikari 是沒得比的,相關的效能測試在網上能找到很多,筆者這邊就不列舉了。但是 Druid 在其他的一些方面就做的比較出色了,功能非常豐富:
- 可以監控資料庫訪問效能, Druid 內建提供了一個功能強大的StatFilter外掛,能夠詳細統計 SQL 的執行效能,這對於線上分析資料庫訪問效能有幫助。
- 資料庫密碼加密。直接把資料庫密碼寫在配置檔案中,這是不好的行為,容易導致安全問題。 DruidDruiver 和 DruidDataSource 都支援 PasswordCallback 。
- SQL 執行日誌, Druid 提供了不同的 LogFilter ,能夠支援 Common-Logging 、 Log4j 和 JdkLog ,你可以按需要選擇相應的 LogFilter ,監控你應用的資料庫訪問情況。
- 擴充套件 JDBC ,如果你要對 JDBC 層有程式設計的需求,可以通過 Druid 提供的 Filter 機制,很方便編寫 JDBC 層的擴充套件外掛。
2. Spring Boot 應用中如何使用
目前 Druid 官方為我們提供了兩種使用依賴方式,一種是基於傳統 Java 工程提供的依賴包, maven 座標如下:
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<version>1.1.20</version>
</dependency>
還有一種是基於 Spring Boot 提供的依賴包, maven 座標如下:
<dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <version>1.1.20</version> </dependency>
下面的這種依賴包除了包含了上面的那種 Druid 基礎包,還包含了 Spring Boot 自動配置的依賴包以及 sl4j-api ,我們在 Spring Boot 中使用 Druid ,當然是推薦各位讀者使用第二種方式引入依賴。
3. 工程實戰
3.1 建立父工程 spring-boot-jpa-druid
父工程 pom.xml 如下:
程式碼清單:spring-boot-jpa-druid/pom.xml
***
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.1.8.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<groupId>com.springcloud</groupId>
<artifactId>spring-boot-jpa-druid</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>spring-boot-jpa-druid</name>
<description>spring-boot-jpa-druid</description>
<properties>
<druid.version>1.1.20</druid.version>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-jpa</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid-spring-boot-starter</artifactId>
<version>${druid.version}</version>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
- 筆者這裡使用的 Druid 依賴包是
druid-spring-boot-starter
,版本號為 1.1.20。
3.2 資料庫密碼不加密的配置檔案 application-pass.yml 如下:
程式碼清單:spring-boot-jpa-druid/src/main/resources/application-pass.yml
***
spring:
datasource:
type: com.alibaba.druid.pool.DruidDataSource
url: jdbc:mysql://192.168.0.128:3306/test?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&useSSL=false
username: root
password: 123456
driverClassName: com.mysql.cj.jdbc.Driver
druid:
# 連線池的配置資訊
# 初始化時建立物理連線的個數
initial-size: 3
# 連線池最小連線數
min-idle: 3
# 連線池最大連線數
max-active: 20
# 獲取連線時最大等待時間,單位毫秒
max-wait: 60000
# 申請連線的時候檢測,如果空閒時間大於timeBetweenEvictionRunsMillis,執行validationQuery檢測連線是否有效。
test-while-idle: true
# 既作為檢測的間隔時間又作為testWhileIdel執行的依據
time-between-connect-error-millis: 60000
# 銷燬執行緒時檢測當前連線的最後活動時間和當前時間差大於該值時,關閉當前連線
min-evictable-idle-time-millis: 30000
# 用來檢測連線是否有效的sql 必須是一個查詢語句
# mysql中為 select 'x'
# oracle中為 select 1 from dual
validation-query: select 'x'
# 申請連線時會執行validationQuery檢測連線是否有效,開啟會降低效能,預設為true
test-on-borrow: false
# 歸還連線時會執行validationQuery檢測連線是否有效,開啟會降低效能,預設為true
test-on-return: false
# 是否快取preparedStatement,mysql5.5+建議開啟
pool-prepared-statements: true
# 當值大於0時poolPreparedStatements會自動修改為true
max-pool-prepared-statement-per-connection-size: 20
# 合併多個DruidDataSource的監控資料
use-global-data-source-stat: false
# 配置擴充套件外掛
filters: stat,wall,slf4j
# 通過connectProperties屬性來開啟mergeSql功能;慢SQL記錄
connect-properties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000
# 定時輸出統計資訊到日誌中,並每次輸出日誌會導致清零(reset)連線池相關的計數器。
time-between-log-stats-millis: 300000
# 配置DruidStatFilter
web-stat-filter:
enabled: true
url-pattern: '/*'
exclusions: '*.js,*.gif,*.jpg,*.bmp,*.png,*.css,*.ico,/druid/*'
# 配置DruidStatViewServlet
stat-view-servlet:
# 是否啟用StatViewServlet(監控頁面)預設值為false(考慮到安全問題預設並未啟動,如需啟用建議設定密碼或白名單以保障安全)
enabled: true
url-pattern: '/druid/*'
# IP白名單(沒有配置或者為空,則允許所有訪問)
allow: 127.0.0.1,192.168.0.1
# IP黑名單 (存在共同時,deny優先於allow)
deny: 192.168.0.128
# 禁用HTML頁面上的“Reset All”功能
reset-enable: false
# 登入名
login-username: admin
# 登入密碼
login-password: admin
- 相關配置的含義已經寫在註釋中了,這裡有一點要講一下,當我們要配置統計資訊(包括監控資訊)
time-between-log-stats-millis
輸出至日誌中,合併多個DruidDataSource的監控資料use-global-data-source-stat
不可開啟,否則啟動會報錯。 spring.datasource.druid.filters
:因為 Druid 的擴充套件是通過 Filter 外掛的形式來開啟的,這裡我們開啟了stat
和wall
,這倆個分別為監控和防禦 SQL 注入攻擊。 Druid 還提供了一些其他預設的 Filter ,如下表:
Filter類名 | 別名 |
---|---|
default | com.alibaba.druid.filter.stat.StatFilter |
stat | com.alibaba.druid.filter.stat.StatFilter |
mergeStat | com.alibaba.druid.filter.stat.MergeStatFilter |
encoding | com.alibaba.druid.filter.encoding.EncodingConvertFilter |
log4j | com.alibaba.druid.filter.logging.Log4jFilter |
log4j2 | com.alibaba.druid.filter.logging.Log4j2Filter |
slf4j | com.alibaba.druid.filter.logging.Slf4jLogFilter |
commonlogging | com.alibaba.druid.filter.logging.CommonsLogFilter |
wall | com.alibaba.druid.wall.WallFilter |
從名稱上可以看出來,主要是一些編碼和日誌的相關 Filter 。
3.3 資料庫密碼加密
在生產環境中,直接在配置檔案中暴露明文密碼是一件非常危險的事情,出於兩點考慮:對外,即使應用服務被入侵,資料庫還是安全的;對內,生產環境的資料庫密碼理論上應該只有 dba 知道,但是程式碼都是在程式碼倉庫中放著的,如果密碼沒有加密,每次釋出前 dba 都需要手動修改配置檔案後再進行打包編譯。
首先,我們需要生成資料庫密碼的密文,需要在命令列中執行如下命令:
java -cp druid-1.0.16.jar com.alibaba.druid.filter.config.ConfigTools you_password
輸出如下:
privateKey:MIIBVAIBADANBgkqhkiG9w0BAQEFAASCAT4wggE6AgEAAkEAh12hnaZuMe76Yb4pi7ogSAEMOcavmz7Blo8DYxeipxeZQhnrXngxc0gAQ6ORlofLWtDm6S7bI7wfDT2EFy/2DwIDAQABAkABMRjYK3vy4pi/vY3eFhBssd2qsI4hPsczjSTJfY7IC9Dc1f7g0axTM6Cx68tRUwv0rSnUiJ5EcDEhuD0JusSZAiEAwX1HpCTq8QgBV1WriHQC7Cd/9Qqp1V4yJeA/jdvXhbsCIQCzGS6wdTQCXDZKLvjRLeSUyTmmIqV/wckqdnpMUZ2BvQIgBIamr1tBt6OlTGKvoYB9NQLzhkrakCgk6ifltK7IytMCIBIbf67zipiafhqt+RYdD7lDRwLXCeiKzS3v4JmKvuP5AiEAr+zqD6sdXv7rWjqu50n+LXbWtNP/M4JzzO1mJOHEhoE=
publicKey:MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBAIddoZ2mbjHu+mG+KYu6IEgBDDnGr5s+wZaPA2MXoqcXmUIZ6154MXNIAEOjkZaHy1rQ5uku2yO8Hw09hBcv9g8CAwEAAQ==
password:Y464AerH8tabxQg5DlkUej6gQ64KY73ahgiPyaB0vguLBLjUEEkVu6VBueiXxcnMfVjh1Nbd+lJNUTnS1a3/xg==
這裡我們需要將生成的公鑰 publicKey
和密碼 password
加入配置檔案中, application-decrypt.yml
如下:
程式碼清單:spring-boot-jpa-druid/src/main/resources/application-decrypt.yml
***
spring:
datasource:
type: com.alibaba.druid.pool.DruidDataSource
url: jdbc:mysql://192.168.0.128:3306/test?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&useSSL=false
username: root
# 加密後密文,原密碼為 123456
password: Y464AerH8tabxQg5DlkUej6gQ64KY73ahgiPyaB0vguLBLjUEEkVu6VBueiXxcnMfVjh1Nbd+lJNUTnS1a3/xg==
driverClassName: com.mysql.cj.jdbc.Driver
druid:
filter:
config:
enabled: true
connection-properties: config.decrypt=true;config.decrypt.key=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBAIddoZ2mbjHu+mG+KYu6IEgBDDnGr5s+wZaPA2MXoqcXmUIZ6154MXNIAEOjkZaHy1rQ5uku2yO8Hw09hBcv9g8CAwEAAQ==
# 剩餘配置省略
- 已省略部分配置,有需要的讀者可以訪問 Github 倉庫獲取。
3.4 配置檔案 application.yml
如下:
程式碼清單:spring-boot-jpa-druid/src/main/resources/application.yml
***
server:
port: 8080
spring:
application:
name: spring-boot-jpa-druid
profiles:
active: decrypt
jpa:
database: mysql
show-sql: true
generate-ddl: true
database-platform: org.hibernate.dialect.MySQL5InnoDBDialect
hibernate:
ddl-auto: update
properties:
hibernate:
format_sql: true
其餘的測試程式碼同上一篇文章《Spring Boot (三): ORM 框架 JPA 與連線池 Hikari》,有興趣的讀者可以訪問 Github 倉庫獲取,筆者這裡就不一一列舉了。
4. 測試
我們在主配置檔案中,選擇密碼加密的配置檔案啟動,將 spring.profiles.active
配置為 decrypt
,點選啟動,可以看到工程正常啟動,檢視控制檯輸出日誌,其中有這麼一句:
2019-09-22 21:21:54.501 INFO 16972 --- [-Log-1465691120] c.a.d.p.DruidDataSourceStatLoggerImpl : {"url":"jdbc:mysql://192.168.0.128:3306/test?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&useSSL=false","dbType":"mysql","name":"DataSource-1465691120","activeCount":0,"poolingCount":3,"poolingPeak":3,"poolingPeakTime":"2019-09-22 21:21:54","connectCount":0,"closeCount":0,"physicalConnectCount":3}
可以看到,我們配置的監控資訊輸出會在系統啟動的時候先輸出一次,我們在配置檔案中配置的是每5分鐘輸出一次,等十分鐘看一下控制檯的輸出資訊,結果如下:
2019-09-22 21:26:54.503 INFO 16972 --- [-Log-1465691120] c.a.d.p.DruidDataSourceStatLoggerImpl : {"url":"jdbc:mysql://192.168.0.128:3306/test?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&useSSL=false","dbType":"mysql","name":"DataSource-1465691120","activeCount":0,"activePeak":1,"activePeakTime":"2019-09-22 21:21:54","poolingCount":3,"poolingPeak":3,"poolingPeakTime":"2019-09-22 21:21:54","connectCount":2,"closeCount":2,"connectionHoldTimeHistogram":[0,0,2]}
2019-09-22 21:31:54.505 INFO 16972 --- [-Log-1465691120] c.a.d.p.DruidDataSourceStatLoggerImpl : {"url":"jdbc:mysql://192.168.0.128:3306/test?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&useSSL=false","dbType":"mysql","name":"DataSource-1465691120","activeCount":0,"poolingCount":3,"connectCount":0,"closeCount":0}
2019-09-22 21:36:54.505 INFO 16972 --- [-Log-1465691120] c.a.d.p.DruidDataSourceStatLoggerImpl : {"url":"jdbc:mysql://192.168.0.128:3306/test?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&useSSL=false","dbType":"mysql","name":"DataSource-1465691120","activeCount":0,"poolingCount":3,"connectCount":0,"closeCount":0}
從時間上可以看出,確實是每5分鐘會輸出一次。
開啟瀏覽器訪問:http://localhost:8080/druid/ ,檢視 Druid 監控頁面,結果如圖:
我們可以進行一些介面測試,在檢視監控頁面,可以看到所有的 SQL 都正常記錄,如圖:
同時,我們看一下後臺的日誌列印,是否正常打出記錄的日誌,擷取列印部分,如下:
2019-09-22 21:51:54.506 INFO 16972 --- [-Log-1465691120] c.a.d.p.DruidDataSourceStatLoggerImpl : {"url":"jdbc:mysql://192.168.0.128:3306/test?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&useSSL=false","dbType":"mysql","name":"DataSource-1465691120","activeCount":0,"activePeak":1,"activePeakTime":"2019-09-22 21:47:28","poolingCount":3,"poolingPeak":3,"poolingPeakTime":"2019-09-22 21:47:28","connectCount":4,"closeCount":4,"executeCount":4,"commitCount":4,"pstmtCacheHitCount":2,"pstmtCacheMissCount":2,"startTransactionCount":4,"transactionHistogram":[0,1,2,1],"connectionHoldTimeHistogram":[0,1,0,3],"sqlList":[{"sql":"insert into user (age, nick_name, id) values (?, ?, ?)","executeCount":2,"executeMillisMax":1,"executeMillisTotal":2,"executeHistogram":[1,1],"executeAndResultHoldHistogram":[1,1],"concurrentMax":1,"updateCount":2,"updateCountMax":1,"updateHistogram":[0,2],"inTransactionCount":2},{"sql":"select usermodel0_.id as id1_0_, usermodel0_.age as age2_0_, usermodel0_.nick_name as nick_nam3_0_ from user usermodel0_ order by usermodel0_.id desc","executeCount":2,"executeMillisMax":3,"executeMillisTotal":4,"executeHistogram":[0,2],"executeAndResultHoldHistogram":[2],"concurrentMax":1,"fetchRowCount":4,"fetchRowCountMax":2,"fetchRowHistogram":[0,2],"inTransactionCount":2}]}
可以看到,日誌中列印了我們執行的 SQL 相關的資訊,和我們在監控頁面看到的資訊完全一致。
至此,測試成功,篇幅原因,一些測試過程未列出,各位感興趣的讀者朋友可以自己動手嘗試一下。
5. 示例程式碼
示例程式碼-Github
示例程式碼-Gitee
6. 參考
《Druid 官方文件