springboot多資料來源配置及切換
阿新 • • 發佈：2020-09-20
注：本文的多資料來源配置及切換的實現方法是，在框架中封裝，具體專案中配置及使用，也適用於多模組專案
配置檔案資料來源讀取
通過springboot的Envioment和Binder物件進行讀取，無需手動宣告DataSource的Bean
yml資料來源配置格式如下:
spring:
datasource:
master:
type: com.alibaba.druid.pool.DruidDataSource
driverClassName: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://localhost:3306/main?
useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai
username: root
password: 11111
cluster:
- key: db1
type: com.alibaba.druid.pool.DruidDataSource
driverClassName: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://localhost:3306/haopanframetest_db1?
useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai
username: root
password: 11111
- key: db2
type: com.alibaba.druid.pool.DruidDataSource
driverClassName: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://localhost:3306/haopanframetest_db2?
useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai
username: root
password: 11111master為主資料庫必須配置，cluster下的為從庫，選擇性配置
獲取配置檔案資訊程式碼如下
@Autowired
private Environment env;
@Autowired
private ApplicationContext applicationContext;
private Binder binder;
binder = Binder.get(env);
List<Map> configs = binder.bind("spring.datasource.cluster", Bindable.listOf(Map.class)).get();
for (int i = 0; i < configs.size(); i++) {
config = configs.get(i);
String key = ConvertOp.convert2String(config.get("key"));
String type = ConvertOp.convert2String(config.get("type"));
String driverClassName = ConvertOp.convert2String(config.get("driverClassName"));
String url = ConvertOp.convert2String(config.get("url"));
String username = ConvertOp.convert2String(config.get("username"));
String password = ConvertOp.convert2String(config.get("password"));
} 動態加入資料來源
定義獲取資料來源的Service，具體專案中進行實現
public interface ExtraDataSourceService {
List<DataSourceModel> getExtraDataSourc();
}
獲取對應Service的所有實現類進行呼叫
private List<DataSourceModel> getExtraDataSource(){
List<DataSourceModel> dataSourceModelList = new ArrayList<>();
Map<String, ExtraDataSourceService> res =
applicationContext.getBeansOfType(ExtraDataSourceService.class);
for (Map.Entry en :res.entrySet()) {
ExtraDataSourceService service = (ExtraDataSourceService)en.getValue();
dataSourceModelList.addAll(service.getExtraDataSourc());
}
return dataSourceModelList;
}通過程式碼進行資料來源註冊
主要是用過繼承類AbstractRoutingDataSource，重寫setTargetDataSources/setDefaultTargetDataSource方法
// 建立資料來源
public boolean createDataSource(String key, String driveClass, String url, String username, String password, String databasetype) {
try {
try { // 排除連線不上的錯誤
Class.forName(driveClass);
DriverManager.getConnection(url, username, password);// 相當於連線資料庫
} catch (Exception e) {
return false;
}
@SuppressWarnings("resource")
DruidDataSource druidDataSource = new DruidDataSource();
druidDataSource.setName(key);
druidDataSource.setDriverClassName(driveClass);
druidDataSource.setUrl(url);
druidDataSource.setUsername(username);
druidDataSource.setPassword(password);
druidDataSource.setInitialSize(1); //初始化時建立物理連線的個數。初始化發生在顯示呼叫init方法，或者第一次getConnection時
druidDataSource.setMaxActive(20); //最大連線池數量
druidDataSource.setMaxWait(60000); //獲取連線時最大等待時間，單位毫秒。當連結數已經達到了最大連結數的時候，應用如果還要獲取連結就會出現等待的現象，等待連結釋放並回到連結池，如果等待的時間過長就應該踢掉這個等待，不然應用很可能出現雪崩現象
druidDataSource.setMinIdle(5); //最小連線池數量
String validationQuery = "select 1 from dual";
druidDataSource.setTestOnBorrow(true); //申請連線時執行validationQuery檢測連線是否有效，這裡建議配置為TRUE，防止取到的連線不可用
druidDataSource.setTestWhileIdle(true);//建議配置為true，不影響效能，並且保證安全性。申請連線的時候檢測，如果空閒時間大於timeBetweenEvictionRunsMillis，執行validationQuery檢測連線是否有效。
druidDataSource.setValidationQuery(validationQuery); //用來檢測連線是否有效的sql，要求是一個查詢語句。如果validationQuery為null，testOnBorrow、testOnReturn、testWhileIdle都不會起作用。
druidDataSource.setFilters("stat");//屬性型別是字串，通過別名的方式配置擴充套件外掛，常用的外掛有：監控統計用的filter:stat日誌用的filter:log4j防禦sql注入的filter:wall
druidDataSource.setTimeBetweenEvictionRunsMillis(60000); //配置間隔多久才進行一次檢測，檢測需要關閉的空閒連線，單位是毫秒
druidDataSource.setMinEvictableIdleTimeMillis(180000); //配置一個連線在池中最小生存的時間，單位是毫秒，這裡配置為3分鐘180000
druidDataSource.setKeepAlive(true); //開啟druid.keepAlive之後，當連線池空閒時，池中的minIdle數量以內的連線，空閒時間超過minEvictableIdleTimeMillis，則會執行keepAlive操作，即執行druid.validationQuery指定的查詢SQL，一般為select * from dual，只要minEvictableIdleTimeMillis設定的小於防火牆切斷連線時間，就可以保證當連線空閒時自動做保活檢測，不會被防火牆切斷
druidDataSource.setRemoveAbandoned(true); //是否移除洩露的連線/超過時間限制是否回收。
druidDataSource.setRemoveAbandonedTimeout(3600); //洩露連線的定義時間(要超過最大事務的處理時間)；單位為秒。這裡配置為1小時
druidDataSource.setLogAbandoned(true); //移除洩露連線發生是是否記錄日誌
druidDataSource.init();
this.dynamicTargetDataSources.put(key, druidDataSource);
setTargetDataSources(this.dynamicTargetDataSources);// 將map賦值給父類的TargetDataSources
super.afterPropertiesSet();// 將TargetDataSources中的連線資訊放入resolvedDataSources管理
log.info(key+"資料來源初始化成功");
//log.info(key+"資料來源的概況："+druidDataSource.dump());
return true;
} catch (Exception e) {
log.error(e + "");
return false;
}
}
通過切面註解統一切換
定義註解
@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.METHOD, ElementType.TYPE, ElementType.PARAMETER})
@Documented
public @interface TargetDataSource {
String value() default "master"; //該值即key值
}
定義基於執行緒的切換類
public class DBContextHolder {
private static Logger log = LoggerFactory.getLogger(DBContextHolder.class);
// 對當前執行緒的操作-執行緒安全的
private static final ThreadLocal<String> contextHolder = new ThreadLocal<String>();
// 呼叫此方法，切換資料來源
public static void setDataSource(String dataSource) {
contextHolder.set(dataSource);
log.info("已切換到資料來源:{}",dataSource);
}
// 獲取資料來源
public static String getDataSource() {
return contextHolder.get();
}
// 刪除資料來源
public static void clearDataSource() {
contextHolder.remove();
log.info("已切換到主資料來源");
}
}
定義切面
方法的註解優先順序高於類註解，一般用於Service的實現類
@Aspect
@Component
@Order(Ordered.HIGHEST_PRECEDENCE)
public class DruidDBAspect {
private static Logger logger = LoggerFactory.getLogger(DruidDBAspect.class);
@Autowired
private DynamicDataSource dynamicDataSource;
/**
* 切面點 指定註解
* */
@Pointcut("@annotation(com.haopan.frame.common.annotation.TargetDataSource) " +
"|| @within(com.haopan.frame.common.annotation.TargetDataSource)")
public void dataSourcePointCut() {
}
/**
* 攔截方法指定為 dataSourcePointCut
* */
@Around("dataSourcePointCut()")
public Object around(ProceedingJoinPoint point) throws Throwable {
MethodSignature signature = (MethodSignature) point.getSignature();
Class targetClass = point.getTarget().getClass();
Method method = signature.getMethod();
TargetDataSource targetDataSource = (TargetDataSource)targetClass.getAnnotation(TargetDataSource.class);
TargetDataSource methodDataSource = method.getAnnotation(TargetDataSource.class);
if(targetDataSource != null || methodDataSource != null){
String value;
if(methodDataSource != null){
value = methodDataSource.value();
}else {
value = targetDataSource.value();
}
DBContextHolder.setDataSource(value);
logger.info("DB切換成功，切換至{}",value);
}
try {
return point.proceed();
} finally {
logger.info("清除DB切換");
DBContextHolder.clearDataSource();
}
}
}
分庫切換
開發過程中某個庫的某個表做了拆分操作，相同的某一次資料庫操作可能對應到不同的庫，需要對方法級別進行精確攔截，可以定義一個業務層面的切面，規定每個方法必須第一個引數為dbName，根據具體業務找到對應的庫傳參
@Around("dataSourcePointCut()")
public Object around(ProceedingJoinPoint point) throws Throwable {
MethodSignature signature = (MethodSignature) point.getSignature();
Class targetClass = point.getTarget().getClass();
Method method = signature.getMethod();
ProjectDataSource targetDataSource =
(ProjectDataSource)targetClass.getAnnotation(ProjectDataSource.class);
ProjectDataSource methodDataSource = method.getAnnotation(ProjectDataSource.class);
String value = "";
if(targetDataSource != null || methodDataSource != null){
//獲取方法定義引數
DefaultParameterNameDiscoverer discover = new DefaultParameterNameDiscoverer();
String[] parameterNames = discover.getParameterNames(method);
//獲取傳入目標方法的引數
Object[] args = point.getArgs();
for (int i=0;i<parameterNames.length;i++){
String pName = parameterNames[i];
if(pName.toLowerCase().equals("dbname")){
value = ConvertOp.convert2String(args[i]);
}
}
if(!StringUtil.isEmpty(value)){
DBContextHolder.setDataSource(value);
logger.info("DB切換成功，切換至{}",value);
}
}
try {
return point.proceed();
} finally {
if(!StringUtil.isEmpty(value)){
logger.info("清除DB切換");
DBContextHolder.clearDataSource();
}
}
}