Sharding JDBC讀寫分離實現原理及例項
一、核心功能和不支援項
核心功能
- 提供一主多從的讀寫分離配置，可獨立使用，也可配合分庫分表使用。
- 獨立使用讀寫分離支援SQL透傳。
- 同一執行緒且同一資料庫連線內，如有寫入操作，以後的讀操作均從主庫讀取，用於保證資料一致性。
- 基於Hint的強制主庫路由。
不支援項
- 主庫和從庫的資料同步（所以需要另外實現主從同步，如使用Mysql的binlog實現）。
- 主庫和從庫的資料同步延遲導致的資料不一致。
- 主庫雙寫或多寫。
- 跨主庫和從庫之間的事務的資料不一致。主從模型中，事務中讀寫均用主庫。
#涉及到的庫及表
CREATE DATABASE ds_master DEFAULT CHARACTER SET UTF8 COLLATE utf8_general_ci; CREATE DATABASE ds_slave0 DEFAULT CHARACTER SET UTF8 COLLATE utf8_general_ci; CREATE DATABASE ds_slave1 DEFAULT CHARACTER SET UTF8 COLLATE utf8_general_ci; CREATE TABLE t_user( user_id BIGINT(20) PRIMARY KEY,user_name VARCHAR(40) ); CREATE TABLE t_order( order_id BIGINT(20) PRIMARY KEY,user_id BIGINT(20),order_num VARCHAR(40) );
二、不使用Spring
引入maven依賴
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-core</artifactId>
<version>4.1.1</version>
</dependency>
這裡使用到Mysql和dbcp2資料來源
<!-- dbcp2 --> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-dbcp2</artifactId> <version>2.7.0</version> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-pool2</artifactId> <version>2.7.0</version> </dependency> <!-- mysql--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.49</version> </dependency>
基於Java編碼的規則配置
/*
* 讀寫分離
* ① 插入、更新、刪除只會影響主庫的資料，即從庫的資料不會被影響（不會同步插入、更新、刪除）。因為Sharding-JDBC並沒有主從庫資料同步的功能。
* 所以我們如果使用的是MySQL，可以採用binlog的方法進行同步。總之需要開發者額外處理
* ② 查詢時，如果主庫沒有資料，從庫有資料，可以查詢到資料，所以刪除的時候必須保證主庫和從庫一起刪除。
*/
// 配置真實資料來源
Map<String,DataSource> dataSourceMap = new HashMap<>();
// 配置主庫
BasicDataSource masterDataSource = new BasicDataSource();
masterDataSource.setDriverClassName("com.mysql.jdbc.Driver");
masterDataSource.setUrl("jdbc:mysql://localhost:3305/ds_master");
masterDataSource.setUsername("root");
masterDataSource.setPassword("123456");
dataSourceMap.put("ds_master",masterDataSource);
// 配置第一個從庫
BasicDataSource slaveDataSource1 = new BasicDataSource();
slaveDataSource1.setDriverClassName("com.mysql.jdbc.Driver");
slaveDataSource1.setUrl("jdbc:mysql://localhost:3305/ds_slave0");
slaveDataSource1.setUsername("root");
slaveDataSource1.setPassword("123456");
dataSourceMap.put("ds_slave0",slaveDataSource1);
// 配置第二個從庫
BasicDataSource slaveDataSource2 = new BasicDataSource();
slaveDataSource2.setDriverClassName("com.mysql.jdbc.Driver");
slaveDataSource2.setUrl("jdbc:mysql://localhost:3305/ds_slave1");
slaveDataSource2.setUsername("root");
slaveDataSource2.setPassword("123456");
dataSourceMap.put("ds_slave1",slaveDataSource2);
// 配置讀寫分離規則
MasterSlaveRuleConfiguration masterSlaveRuleConfig = new MasterSlaveRuleConfiguration("ds_master_slave","ds_master",Arrays.asList("ds_slave0","ds_slave1"));
// 獲取資料來源物件
DataSource dataSource = MasterSlaveDataSourceFactory.createDataSource(dataSourceMap,masterSlaveRuleConfig,new Properties());
Connection conn = dataSource.getConnection();
// 插入資料
//ShardingKeyGenerator keyGenerator = new SnowflakeShardingKeyGenerator();
//long orderId = ((Long) keyGenerator.generateKey()).longValue();
//long userId = 1027543L;
//ShardingKeyGenerator orderGenerator = new UUIDShardingKeyGenerator();
//String orderNum = (String) orderGenerator.generateKey();
//
//String insertSql = "insert into t_order(order_id,user_id,order_num) values(?,?,?)";
//PreparedStatement ps = conn.prepareStatement(insertSql);
//ps.setLong(1,orderId);
//ps.setLong(2,userId);
//ps.setString(3,orderNum);
//int result = ps.executeUpdate();
//System.out.println("執行結果數：" + result);
//讀取資料
String querySql = "select * from t_order";
PreparedStatement qryPs = conn.prepareStatement(querySql);
ResultSet resultSet = qryPs.executeQuery();
while (resultSet.next()){
String ud = resultSet.getString("user_id");
String om = resultSet.getString("order_num");
System.out.println(String.format("user_id = [%s],order_num = [%s]",ud,om));
}
// 刪除資料
String deleteSql = "delete from t_order where user_id = 1027543";
PreparedStatement dropPs = conn.prepareStatement(deleteSql);
int delResult = dropPs.executeUpdate();
System.out.println("刪除結果數：" + delResult);基於Yaml的規則配置
配置檔案sharddb.yml，內容如下：
dataSources: ds_master: !!org.apache.commons.dbcp2.BasicDataSource driverClassName: com.mysql.jdbc.Driver url: jdbc:mysql://localhost:3305/ds_master username: root password: 123456 ds_slave0: !!org.apache.commons.dbcp2.BasicDataSource driverClassName: com.mysql.jdbc.Driver url: jdbc:mysql://localhost:3305/ds_slave0 username: root password: 123456 ds_slave1: !!org.apache.commons.dbcp2.BasicDataSource driverClassName: com.mysql.jdbc.Driver url: jdbc:mysql://localhost:3305/ds_slave1 username: root password: 123456 masterSlaveRule: name: ds_ms masterDataSourceName: ds_master slaveDataSourceNames: [ds_slave0,ds_slave1] props: sql.show: true
讀取配置檔案sharddb.yml：
ClassPathResource pathResource = new ClassPathResource("sharddb.yml");
DataSource dataSource = YamlMasterSlaveDataSourceFactory.createDataSource(pathResource.getFile());
Connection conn = dataSource.getConnection();
// 插入資料
ShardingKeyGenerator keyGenerator = new SnowflakeShardingKeyGenerator();
long orderId = ((Long) keyGenerator.generateKey()).longValue();
long userId = 1027548L;
ShardingKeyGenerator orderGenerator = new UUIDShardingKeyGenerator();
String orderNum = (String) orderGenerator.generateKey();
//String insertSql = "insert into t_order(order_id,orderNum);
//int result = ps.executeUpdate();
//System.out.println("執行結果數：" + result);
//讀取資料
String querySql = "select * from t_order";
PreparedStatement qryPs = conn.prepareStatement(querySql);
ResultSet resultSet = qryPs.executeQuery();
while (resultSet.next()) {
String ud = resultSet.getString("user_id");
String om = resultSet.getString("order_num");
System.out.println(String.format("user_id = [%s],om));
}
三、使用Spring
基於Spring boot的規則配置
① 引入Maven依賴
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>4.1.1</version>
</dependency>
② application.properties內容如下：
# 一主二從，一般都是部署在不同的機器上，資料庫是名稱是相同的
# jdbc:mysql://192.168.1.12:3306/am_stock
# jdbc:mysql://192.168.1.13:3306/am_stock
# jdbc:mysql://192.168.1.14:3306/am_stock
spring.shardingsphere.datasource.names=master,slave0,slave1spring.shardingsphere.datasource.master.type=org.apache.commons.dbcp.BasicDataSource
spring.shardingsphere.datasource.master.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.master.url=jdbc:mysql://localhost:3306/ds_master
spring.shardingsphere.datasource.master.username=root
spring.shardingsphere.datasource.master.password=123456spring.shardingsphere.datasource.slave0.type=org.apache.commons.dbcp.BasicDataSource
spring.shardingsphere.datasource.slave0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave0.url=jdbc:mysql://localhost:3306/ds_slave0
spring.shardingsphere.datasource.slave0.username=root
spring.shardingsphere.datasource.slave0.password=123456spring.shardingsphere.datasource.slave1.type=org.apache.commons.dbcp.BasicDataSource
spring.shardingsphere.datasource.slave1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave1.url=jdbc:mysql://localhost:3306/ds_slave1
spring.shardingsphere.datasource.slave1.username=root
spring.shardingsphere.datasource.slave1.password=123456spring.shardingsphere.masterslave.name=ms
spring.shardingsphere.masterslave.master-data-source-name=master
spring.shardingsphere.masterslave.slave-data-source-names=slave0,slave1spring.shardingsphere.props.sql.show=true
③ 直接通過注入的方式即可使用DataSource，或者將DataSource配置在JPA、Hibernate或MyBatis中使用。
@Resource
private DataSource dataSource;
④ 基於Spring boot + JNDI的規則配置
如果您計劃使用Spring boot + JNDI的方式，在應用容器（如Tomcat）中使用Sharding-JDBC時，可使用spring.shardingsphere.datasource.${datasourceName}.jndiName來代替資料來源的一系列配置。 如：
spring.shardingsphere.datasource.names=master,slave1
spring.shardingsphere.datasource.master.jndi-name=java:comp/env/jdbc/master
spring.shardingsphere.datasource.slave0.jndi-name=jdbc/slave0
spring.shardingsphere.datasource.slave1.jndi-name=jdbc/slave1spring.shardingsphere.masterslave.name=ms
spring.shardingsphere.masterslave.master-data-source-name=master
spring.shardingsphere.masterslave.slave-data-source-names=slave0,slave1spring.shardingsphere.props.sql.show=true
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。