springboot jpa分庫分表專案實現過程詳解

阿新 • • 發佈：2020-01-18

這篇文章主要介紹了springboot jpa分庫分表專案實現過程詳解,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

分庫分表場景

關係型資料庫本身比較容易成為系統瓶頸，單機儲存容量、連線數、處理能力都有限。當單表的資料量達到1000W或100G以後，由於查詢維度較多，即使新增從庫、優化索引，做很多操作時效能仍下降嚴重。此時就要考慮對其進行切分了，切分的目的就在於減少資料庫的負擔，縮短查詢時間。

分庫分表用於應對當前網際網路常見的兩個場景——大資料量和高併發。通常分為垂直拆分和水平拆分兩種。

垂直拆分是根據業務將一個庫（表）拆分為多個庫（表）。如：將經常和不常訪問的欄位拆分至不同的庫或表中。由於與業務關係密切，目前的分庫分表產品均使用水平拆分方式。

水平拆分則是根據分片演算法將一個庫（表）拆分為多個庫（表）。如：按照ID的最後一位以3取餘，尾數是1的放入第1個庫（表），尾數是2的放入第2個庫（表）等。

單純的分表雖然可以解決資料量過大導致檢索變慢的問題，但無法解決過多併發請求訪問同一個庫，導致資料庫響應變慢的問題。所以通常水平拆分都至少要採用分庫的方式，用於一併解決大資料量和高併發的問題。這也是部分開源的分片資料庫中介軟體只支援分庫的原因。

但分表也有不可替代的適用場景。最常見的分表需求是事務問題。同在一個庫則不需考慮分散式事務，善於使用同庫不同表可有效避免分散式事務帶來的麻煩。目前強一致性的分散式事務由於效能問題，導致使用起來並不一定比不分庫分錶快。目前採用最終一致性的柔性事務居多。分表的另一個存在的理由是，過多的資料庫例項不利於運維管理。綜上所述，最佳實踐是合理地配合使用分庫+分表。

Sharding-JDBC簡介

Sharding-JDBC是噹噹應用框架ddframe中，從關係型資料庫模組dd-rdb中分離出來的資料庫水平分片框架，實現透明化資料庫分庫分表訪問。Sharding-JDBC是繼dubbox和elastic-job之後，ddframe系列開源的第3個專案。

定位為輕量級Java框架，在Java的JDBC層提供的額外服務。它使用客戶端直連資料庫，以jar包形式提供服務，無需額外部署和依賴，可理解為增強版的JDBC驅動，完全相容JDBC和各種ORM框架。

適用於任何基於Java的ORM框架，如：JPA,Hibernate,Mybatis,Spring JDBC Template或直接使用JDBC。

基於任何第三方的資料庫連線池，如：DBCP,C3P0,BoneCP,Druid,HikariCP等。
支援任意實現JDBC規範的資料庫。目前支援MySQL，Oracle，SQLServer和PostgreSQL。
Sharding-JDBC分片策略靈活，可支援等號、between、in等多維度分片，也可支援多分片鍵。

SQL解析功能完善，支援聚合、分組、排序、limit、or等查詢，並支援Binding Table以及笛卡爾積表查詢。

專案實踐

資料準備

準備兩個資料庫。並在兩個庫中建好表,建表sql如下：

DROP TABLE IF EXISTS `user_auth_0`;
CREATE TABLE `user_auth_0` (
 `user_id` bigint(20) NOT NULL,`add_date` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,`email` varchar(16) DEFAULT NULL,`password` varchar(255) DEFAULT NULL,`phone` varchar(16) DEFAULT NULL,`remark` varchar(16) DEFAULT NULL,PRIMARY KEY (`user_id`),UNIQUE KEY `USER_AUTH_PHONE` (`phone`),UNIQUE KEY `USER_AUTH_EMAIL` (`email`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
 
DROP TABLE IF EXISTS `user_auth_1`;
CREATE TABLE `user_auth_1` (
 `user_id` bigint(20) NOT NULL,UNIQUE KEY `USER_AUTH_EMAIL` (`email`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

POM配置

<dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter</artifactId>
    </dependency>
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-devtools</artifactId>
      <scope>runtime</scope>
    </dependency>
    <dependency>
      <groupId>org.projectlombok</groupId>
      <artifactId>lombok</artifactId>
      <optional>true</optional>
    </dependency>
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-test</artifactId>
      <scope>test</scope>
    </dependency>

    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <!-- 引入jpa-->
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-data-jpa</artifactId>
    </dependency>
    <!-- 引入mysql-->
    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
    </dependency>
    <!-- druid -->
    <dependency>
      <groupId>com.alibaba</groupId>
      <artifactId>druid</artifactId>
      <version>1.1.9</version>
    </dependency>
    <!-- sharding-jdbc -->
    <dependency>
      <groupId>com.dangdang</groupId>
      <artifactId>sharding-jdbc-core</artifactId>
      <version>1.5.4</version>
    </dependency>
    <!-- fastjson -->
    <dependency>
      <groupId>com.alibaba</groupId>
      <artifactId>fastjson</artifactId>
      <version>1.2.51</version>
    </dependency>

application.yml配置

spring:
 jpa:
  properties:
   hibernate:
    dialect: org.hibernate.dialect.MySQL5InnoDBDialect
  show-sql: true
database0:
 driverClassName: com.mysql.jdbc.Driver
 url: jdbc:mysql://localhost:3306/mazhq?serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8
 username: root
 password: 123456
 databaseName: mazhq

database1:
 driverClassName: com.mysql.jdbc.Driver
 url: jdbc:mysql://localhost:3306/liugh?serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8
 username: root
 password: 123456
 databaseName: liugh

分庫分表最主要有幾個配置

1. 有多少個數據源（2個：database0和database1）

@Data
@ConfigurationProperties(prefix = "database0")
@Component
public class Database0Config {
  private String url;
  private String username;
  private String password;
  private String driverClassName;
  private String databaseName;
 
  public DataSource createDataSource() {
    DruidDataSource result = new DruidDataSource();
    result.setDriverClassName(getDriverClassName());
    result.setUrl(getUrl());
    result.setUsername(getUsername());
    result.setPassword(getPassword());
    return result;
  }
}

2. 用什麼列進行分庫以及分庫演算法（一般是用具體值對2取餘判斷入哪個庫，我採用的是判斷值是否大於20）

@Component
public class DatabaseShardingAlgorithm implements SingleKeyDatabaseShardingAlgorithm<Long> {
  @Autowired
  private Database0Config database0Config;
  @Autowired
  private Database1Config database1Config;
  @Override
  public String doEqualSharding(Collection<String> collection,ShardingValue<Long> shardingValue) {
    Long value = shardingValue.getValue();
    if (value <= 20L) {
      return database0Config.getDatabaseName();
    } else {
      return database1Config.getDatabaseName();
    }
  }
 
  @Override
  public Collection<String> doInSharding(Collection<String> availableTargetNames,ShardingValue<Long> shardingValue) {
    Collection<String> result = new LinkedHashSet<>(availableTargetNames.size());
    for (Long value : shardingValue.getValues()) {
      if (value <= 20L) {
        result.add(database0Config.getDatabaseName());
      } else {
        result.add(database1Config.getDatabaseName());
      }
    }
    return result;
  }
 
  @Override
  public Collection<String> doBetweenSharding(Collection<String> availableTargetNames,ShardingValue<Long> shardingValue) {
    Collection<String> result = new LinkedHashSet<>(availableTargetNames.size());
    Range<Long> range = shardingValue.getValueRange();
    for (Long value = range.lowerEndpoint(); value <= range.upperEndpoint(); value++) {
      if (value <= 20L) {
        result.add(database0Config.getDatabaseName());
      } else {
        result.add(database1Config.getDatabaseName());
      }
    }
    return result;
  }
}

3. 用什麼列進行分表以及分表演算法

@Component
public class TableShardingAlgorithm implements SingleKeyTableShardingAlgorithm<Long> {
  @Override
  public String doEqualSharding(Collection<String> tableNames,ShardingValue<Long> shardingValue) {
    for (String each : tableNames) {
      if (each.endsWith(shardingValue.getValue() % 2 + "")) {
        return each;
      }
    }
    throw new IllegalArgumentException();
  }
 
  @Override
  public Collection<String> doInSharding(Collection<String> tableNames,ShardingValue<Long> shardingValue) {
    Collection<String> result = new LinkedHashSet<>(tableNames.size());
    for (Long value : shardingValue.getValues()) {
      for (String tableName : tableNames) {
        if (tableName.endsWith(value % 2 + "")) {
          result.add(tableName);
        }
      }
    }
    return result;
  }
 
  @Override
  public Collection<String> doBetweenSharding(Collection<String> tableNames,ShardingValue<Long> shardingValue) {
    Collection<String> result = new LinkedHashSet<>(tableNames.size());
    Range<Long> range = shardingValue.getValueRange();
    for (Long i = range.lowerEndpoint(); i <= range.upperEndpoint(); i++) {
      for (String each : tableNames) {
        if (each.endsWith(i % 2 + "")) {
          result.add(each);
        }
      }
    }
    return result;
  }
}

4. 每張表的邏輯表名和所有物理表名和整合呼叫

@Configuration
public class DataSourceConfig {
  @Autowired
  private Database0Config database0Config;
 
  @Autowired
  private Database1Config database1Config;
 
  @Autowired
  private DatabaseShardingAlgorithm databaseShardingAlgorithm;
 
  @Autowired
  private TableShardingAlgorithm tableShardingAlgorithm;
 
  @Bean
  public DataSource getDataSource() throws SQLException {
    return buildDataSource();
  }
 
  private DataSource buildDataSource() throws SQLException {
    //分庫設定
    Map<String,DataSource> dataSourceMap = new HashMap<>(2);
    //新增兩個資料庫database0和database1
    dataSourceMap.put(database0Config.getDatabaseName(),database0Config.createDataSource());
    dataSourceMap.put(database1Config.getDatabaseName(),database1Config.createDataSource());
    //設定預設資料庫
    DataSourceRule dataSourceRule = new DataSourceRule(dataSourceMap,database0Config.getDatabaseName());
 
    //分表設定，大致思想就是將查詢虛擬表Goods根據一定規則對映到真實表中去
    TableRule orderTableRule = TableRule.builder("user_auth")
        .actualTables(Arrays.asList("user_auth_0","user_auth_1"))
        .dataSourceRule(dataSourceRule)
        .build();
 
    //分庫分表策略
    ShardingRule shardingRule = ShardingRule.builder()
        .dataSourceRule(dataSourceRule)
        .tableRules(Arrays.asList(orderTableRule))
        .databaseShardingStrategy(new DatabaseShardingStrategy("user_id",databaseShardingAlgorithm))
        .tableShardingStrategy(new TableShardingStrategy("user_id",tableShardingAlgorithm)).build();
    DataSource dataSource = ShardingDataSourceFactory.createDataSource(shardingRule);
    return dataSource;
  }
  @Bean
  public KeyGenerator keyGenerator() {
    return new DefaultKeyGenerator();
  }

介面測試程式碼

1、實體類

/**
 * @author mazhq
 * @date 2019/7/30 16:41
 */
@Entity
@Data
@Table(name = "USER_AUTH",uniqueConstraints = {@UniqueConstraint(name = "USER_AUTH_PHONE",columnNames = {"PHONE"}),@UniqueConstraint(name = "USER_AUTH_EMAIL",columnNames = {"EMAIL"})})
public class UserAuthEntity implements Serializable {
  private static final long serialVersionUID = 7230052310725727465L;
  @Id
  private Long userId;
  @Column(name = "PHONE",length = 16)
  private String phone;
  @Column(name = "EMAIL",length = 16)
  private String email;
  private String password;
  @Column(name = "REMARK",length = 16)
  private String remark;
  @Column(name = "ADD_DATE",nullable = false,columnDefinition = "datetime default now()")
  private Date addDate;
}

2. Dao層

@Repository
public interface UserAuthDao extends JpaRepository<UserAuthEntity,Long> {
}

3. controller層

/**
 * @author mazhq
 * @Title: UserAuthController
 * @date 2019/8/1 17:18
 */
@RestController
@RequestMapping("/user")
public class UserAuthController {
  @Autowired
  private UserAuthDao userAuthDao;
 
  @PostMapping("/save")
  public String save(){
    for (int i=0;i<40;i++) {
      UserAuthEntity userAuthEntity = new UserAuthEntity();
      userAuthEntity.setUserId((long)i);
      userAuthEntity.setAddDate(new Date());
      userAuthEntity.setEmail("test"+i+"@163.com");
      userAuthEntity.setPassword("123456");
      userAuthEntity.setPhone("1388888888"+i);
      Random r = new Random();
      userAuthEntity.setRemark(""+r.nextInt(100));
      userAuthDao.save(userAuthEntity);
    }
    return "success";
  }
 
  @PostMapping("/select")
  public String select(){
    return JSONObject.toJSONString(userAuthDao.findAll(Sort.by(Sort.Order.desc("remark"))));
  }
}

測試方式：

先呼叫：http://localhost:8080/user/save

再查詢：http://localhost:8080/user/select

git地址：sharding

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。

springboot jpa分庫分表專案實現過程詳解

springboot jpa分庫分表專案實現過程詳解

springBoot 整合 sharding-jdbc Jpa 分庫分表

SpringBoot專案整合jasypt實現過程詳解

輕量級的資料庫中介軟體解決了SpringBoot中分庫分表問題

SpringBoot整合分庫分表利器ShardingSphere

SpringBoot登入驗證碼實現過程詳解

Springboot RocketMq實現過程詳解

Springboot+Poi匯入Excel表格實現過程詳解

Spring案例印表機的實現過程詳解

感知器基礎原理及python實現過程詳解

Python快取技術實現過程詳解

Python守護程序實現過程詳解

JavaWeb response完成重定向實現過程詳解

JavaScript程式碼異常監控實現過程詳解

Spring JDK動態代理實現過程詳解

Spring自動裝配Bean實現過程詳解

簡易JDBC框架實現過程詳解

Java小程式賽馬遊戲實現過程詳解

MyBatis使用註解開發實現過程詳解

Javascript非同步程式設計async實現過程詳解

springboot jpa分庫分表專案實現過程詳解

相關推薦