2. 程式人生 > >Sharding-JDBC分庫分表使用例項

Sharding-JDBC分庫分表使用例項

阿新 • • 發佈：2019-02-14

Sharding-JDBC是噹噹開源的用於分庫分表的基礎類庫。定位輕量級java框架，可以通過客戶端直接連線資料庫，只需要在增加額外的資料來源配置就可以輕鬆實現完整的分庫分表功能。

Sharding-JDBC是一個開源的適用於微服務的分散式資料訪問基礎類庫，它始終以雲原生的基礎開發套件為目標。

目前Sharding-JDBC已經實現的功能包括（最新穩定版本為2.0.0.M1）：

  • 分庫分表
  • 讀寫分離
  • 分散式主鍵
  • 柔性事務
  • 分散式治理能力（2.0新功能），具體包括：
    • 配置集中化與動態化，可支援資料來源、表與分片策略的動態切換
    • 客戶端的資料庫治理，資料來源失效自動切換
    • 基於Open Tracing協議的APM資訊輸出

下面的例子都是基於Spring Boot開發：Spring Boot + Mybatis + Druid + Sharding-Jdbc

工程結構

工程結構

Application是專案的啟動入口

DataSourceConfig是資料來源配置，包括如何結合Sharding-Jdbc設定分庫分表

algorithm下面是設定的分庫分表策略，比如當city_id % 2為偶數放在庫A，否則放在庫B

UserMapper是Mybatis的介面，由於採用了全註解配置，所以沒有Mapper檔案

druid下面是druid的監控頁面配置

pom配置


<?xml version="1.0" encoding="UTF-8"?>
 

<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>spring-boot-learning-examples</artifactId>
        <groupId
 
>com.rhwayfun</groupId>
        <version>0.0.1-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>spring-boot-mybatis-sharding-jdbc</artifactId>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
        </dependency>

        <dependency>
            <groupId>com.dangdang</groupId>
            <artifactId>sharding-jdbc-core</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-configuration-processor</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
            <plugin>
                <groupId>org.jacoco</groupId>
                <artifactId>jacoco-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
</project>

使用Sharding-Jdbc需要依賴sharding-jdbc-core，其他都是Spring Boot相關的依賴。

詳解資料來源配置

/**
 * 資料來源配置
 *
 * @author happyxiaofan
 * @since 0.0.1
 */
@Configuration
@ConfigurationProperties(prefix = DataSourceConstants.DATASOURCE_PREFIX)
@MapperScan(basePackages = { DataSourceConstants.MAPPER_PACKAGE }, sqlSessionFactoryRef = "mybatisSqlSessionFactory")
public class DataSourceConfig {

    private String url;

    private String username;

    private String password;

    @Bean(name = "mybatisDataSource")
    public DataSource getDataSource() throws SQLException {
        //設定分庫對映
        Map<String, DataSource> dataSourceMap = new HashMap<>(2);
        dataSourceMap.put("springboot_0", mybatisDataSource("springboot"));
        dataSourceMap.put("springboot_1", mybatisDataSource("springboot2"));

        //設定預設庫，兩個庫以上時必須設定預設庫。預設庫的資料來源名稱必須是dataSourceMap的key之一
        DataSourceRule dataSourceRule = new DataSourceRule(dataSourceMap, "springboot_0");

        //設定分表對映
        TableRule userTableRule = TableRule.builder("user")
                .generateKeyColumn("user_id") //將user_id作為分散式主鍵
                .actualTables(Arrays.asList("user_0", "user_1"))
                .dataSourceRule(dataSourceRule)
                .build();

        //具體分庫分表策略
        ShardingRule shardingRule = ShardingRule.builder()
                .dataSourceRule(dataSourceRule)
                .tableRules(Collections.singletonList(userTableRule))
                .databaseShardingStrategy(new DatabaseShardingStrategy("city_id", new ModuloDatabaseShardingAlgorithm()))
                .tableShardingStrategy(new TableShardingStrategy("user_id", new ModuloTableShardingAlgorithm())).build();

        DataSource dataSource = ShardingDataSourceFactory.createDataSource(shardingRule);

        //return new ShardingDataSource(shardingRule);
        return dataSource;
    }

    private DataSource mybatisDataSource(final String dataSourceName) throws SQLException {
        DruidDataSource dataSource = new DruidDataSource();
        dataSource.setDriverClassName(DataSourceConstants.DRIVER_CLASS);
        dataSource.setUrl(String.format(url, dataSourceName));
        dataSource.setUsername(username);
        dataSource.setPassword(password);

        /* 配置初始化大小、最小、最大 */
        dataSource.setInitialSize(1);
        dataSource.setMinIdle(1);
        dataSource.setMaxActive(20);

        /* 配置獲取連線等待超時的時間 */
        dataSource.setMaxWait(60000);

        /* 配置間隔多久才進行一次檢測，檢測需要關閉的空閒連線，單位是毫秒 */
        dataSource.setTimeBetweenEvictionRunsMillis(60000);

        /* 配置一個連線在池中最小生存的時間，單位是毫秒 */
        dataSource.setMinEvictableIdleTimeMillis(300000);

        dataSource.setValidationQuery("SELECT 'x'");
        dataSource.setTestWhileIdle(true);
        dataSource.setTestOnBorrow(false);
        dataSource.setTestOnReturn(false);

        /* 開啟PSCache，並且指定每個連線上PSCache的大小。
           如果用Oracle，則把poolPreparedStatements配置為true，
           mysql可以配置為false。分庫分表較多的資料庫，建議配置為false */
        dataSource.setPoolPreparedStatements(false);
        dataSource.setMaxPoolPreparedStatementPerConnectionSize(20);

        /* 配置監控統計攔截的filters */
        dataSource.setFilters("stat,wall,log4j");
        return dataSource;
    }

    /**
     * Sharding-jdbc的事務支援
     *
     * @return
     */
    @Bean(name = "mybatisTransactionManager")
    public DataSourceTransactionManager mybatisTransactionManager(@Qualifier("mybatisDataSource") DataSource dataSource) throws SQLException {
        return new DataSourceTransactionManager(dataSource);
    }

    @Bean(name = "mybatisSqlSessionFactory")
    public SqlSessionFactory mybatisSqlSessionFactory(@Qualifier("mybatisDataSource") DataSource mybatisDataSource)
            throws Exception {
        final SqlSessionFactoryBean sessionFactory = new SqlSessionFactoryBean();
        sessionFactory.setDataSource(mybatisDataSource);
        return sessionFactory.getObject();
    }

    // 省略setter、getter

}

分庫規則，按照city_id分庫：

如果cityId mod 2 為0，則落在springboot_0，也即是springboot，
如果cityId mod 2 為1，則落在springboot_1，也即是springboot2

分表規則，按照user_id分表：

如果userId mod 2 為0，則落在表user_0，
如果userId mod 2 為1，則落在表user_1

上面指定了兩個資料庫springboot和springboot2,對應的key分別是springboot_0和springboot_1，在具體執行資料庫寫入的時候會先根據分庫演算法確定寫入到哪個庫(springboot或者springboot2)，再根據分表演算法確定寫入最終哪個表（user_0或user_1）。所以這裡兩個資料庫都有兩個表，這裡以user表作為示例，表結構如下：

CREATE TABLE `user` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `user_id` bigint(20) NOT NULL COMMENT '使用者id',
  `city_id` int(11) DEFAULT NULL COMMENT '城市id',
  `user_name` varchar(15) DEFAULT NULL,
  `age` int(11) DEFAULT NULL COMMENT '年齡',
  `birth` date DEFAULT NULL COMMENT '生日',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1

在設定分表對映的時候，我們將user_id作為分散式主鍵，但是我們在建立表的時候卻將id作為了自增主鍵，這兩個是什麼關係呢，用MySQL的自增主鍵不行麼。因為同一個邏輯表（這裡的邏輯表是user）內的不同實際表（這裡的實際表是user_0和user_1）之間的自增鍵是無法互相感知的，這樣會造成重複Id的生成。而Sharding-Jdbc的分散式主鍵保證了資料庫進行分庫分表後主鍵（這裡的user_id）一定是唯一不重複的，這樣就解決了生成重複Id的問題。

注意下面這段程式碼:


ShardingRule shardingRule = ShardingRule.builder()
                .dataSourceRule(dataSourceRule)
                .tableRules(Collections.singletonList(userTableRule))
                .databaseShardingStrategy(new DatabaseShardingStrategy("city_id", new ModuloDatabaseShardingAlgorithm()))
                .tableShardingStrategy(new TableShardingStrategy("user_id", new ModuloTableShardingAlgorithm())).build();

這裡指定了具體的分庫分表策略，我們要實現的是根據city_id分庫，根據user_id分表。ModuloDatabaseShardingAlgorithm表示具體分庫的演算法，TableShardingStrategy表示具體的分表的演算法。

測試

我們可以先假設下，如果插入下面這條資料，按照之前確定的分庫分表規則，肯定是落在springboot2庫，但是無法實現確定落在哪個表，因為我們將user_id作為了分散式主鍵，主鍵是由Sharding-Jdbc內部先生成的，所以可能會落在user_0或user_1：


@Test
    public void getOneSlave() throws Exception {
        UserEntity user = new UserEntity();
        user.setCityId(1);//1 mod 2 = 1，所以會落在springboot2庫中
        user.setUserName("insertTest");
        user.setAge(10);
        user.setBirth(new Date());
        assertTrue(userMapper.insertSlave(user) > 0);
        Long userId = user.getUserId();
        System.out.println("Generated Key--userId:" + userId + "mod:" + 1 % 2);
        UserEntity one = userMapper.getOne(userId);
        System.out.println("Generated User:" + one);
        assertEquals("insertTest", one.getUserName());
        //assertTrue(userMapper.delete(userId) > 0);
    }

通過user.getUserId可以獲取Sharding-Jdbc的生成的主鍵，執行這個測試用例，可以看到生成主鍵為131004387576250368，通過計算131004387576250368 mod 2 = 0，所以這條記錄在表user_0。

驗證如下：

結果

柔性事務

讀寫分離

分散式治理

相關推薦

Sharding-JDBC分庫分表使用例項

Sharding-JDBC是噹噹開源的用於分庫分表的基礎類庫。定位輕量級java框架，可以通過客戶端直接連線資料庫，只需要在增加額外的資料來源配置就可以輕鬆實現完整的分庫分表功能。 Sharding-JDBC是一個開源的適用於微服務的分散式資料訪問基礎類

sharding-jdbc分庫分表規則(1)-單表查詢

前言 當資料量到達一定數量級的時候，一般都會考慮分庫分表。sharding-jdbc是一個開源的客戶端分庫分表基礎類庫，以一個jar包的形式提供，基於原生的JDBC驅動進行增強，基本能夠無縫整合舊程式碼，非常的便捷。本小節以一個最簡單的單表查詢淺析概要流程。

SpringBoot使用Sharding-JDBC分庫分表

ber password view select ext dep 簡單配置 匹配 nap 本文介紹SpringBoot使用當當Sharding-JDBC進行分庫分表。 1.有關Sharding-JDBC 有關Sharding-JDBC介紹這裏就不在多說，之前Shardi

學習sharding-jdbc 分庫分表擴充套件框架

前一段時間研究阿里的分庫框架cobar-client，cobar-client是基於ibatis的SqlMapClientTemplate進行了一層薄薄的封裝，分裝成CobarSqlMapClientTemplate，在使用者在CRUD的時候可以透明的進行操作，算是現

sharding-jdbc 分庫分表的 4種分片策略，還蠻簡單的

上文[《快速入門分庫分表中介軟體 Sharding-JDBC （必修課）》](https://mp.weixin.qq.com/s?__biz=MzAxNTM4NzAyNg==&mid=2247488500&idx=1&sn=108bf704a54b0a9638e84698deb3ce4c&chksm=9b8

sharding-jdbc之——分庫分表例項

一、概述之前，我們介紹了利用Mycat進行分庫分表操作，Mycat分表操作是利用分庫來進行的，單個庫中的分表操作可結合MySQL的分割槽進行，這也是Mycat官方提倡的方式。那麼，如何利用Mycat真正實現資料庫的分庫分表，可以私信我。今天，我們來看看sharding-jdb

利用Sharding-Jdbc實現分表

利用Sharding-Jdbc實現分表 由 匿名 (未驗證) 提交於 2018-07-25 15:50:57 132 次瀏覽 閒來無事，喜歡研究一些自己未接觸過的技術~ 看到了噹噹開源的Sharding-JDBC元件，它可以在幾乎不修改程式碼的情況下完成

Springboot使用sharding進行分庫分表

pom.xml檔案加入sharing引用和druid引用 <dependency>             <groupId>com.dangdang</groupId>             <artifactId&

數據庫分庫分表中間件 Sharding-JDBC 源碼分析 —— SQL 解析（六）之刪除SQL

java 後端 架構 數據庫 中間件關註微信公眾號：【芋道源碼】有福利：RocketMQ / MyCAT / Sharding-JDBC 所有源碼分析文章列表RocketMQ / MyCAT / Sharding-JDBC 中文註釋源碼 GitHub 地址您對於源碼的疑問每條留言都將得到認真回復。甚至不知道如

數據庫分庫分表中間件 Sharding-JDBC 源碼分析 —— 分布式主鍵

java 後端 架構 數據庫 中間件關註**微信公眾號：【芋道源碼】**有福利：RocketMQ / MyCAT / Sharding-JDBC 所有源碼分析文章列表RocketMQ / MyCAT / Sharding-JDBC 中文註釋源碼 GitHub 地址您對於源碼的疑問每條留言都將得到認真回復。甚至

【分庫分表】sharding-jdbc + spring boot對大表進行分庫分表

一、前言       最近小編跳槽了，剛好入職了一家移動網際網路公司。非常的幸運。來新公司後的第一個專案就是對通知服務進行優化改進，其中，一個業務就是當用戶登入的時候，就會登入訪問通知表，根據使用者id載入通知資訊。由於通知量已經上億了，在查詢的時候是非常慢的。

Spring Boot 結合 Sharding-Jdbc做分庫分表示例

對於一些大系統，資料庫資料量很大，業務量特別大的時候，而我們的資料庫及表的對於大資料量的時候，處理的效能就不容樂觀，這個時候我們就需要對我們的資料和表做分庫分表處理了。一般分庫分表都會採用資料庫中介軟體，像Mycat這種中介軟體，它幫我們做資料來源，路由對映控制。而今天介紹的Sharding

分庫分表框架cobar,cobar-client,tddl,sharding-JDBC

前一段時間研究阿里的分庫框架cobar-client，cobar-client是基於ibatis的SqlMapClientTemplate進行了一層薄薄的封裝，分裝成CobarSqlMapClientTemplate，在使用者在CRUD的時候可以透明的進行操作，算是現在大多公司分庫的一個成熟解決方

sharding-jdbc結合mybatis實現分庫分表功能

源自：https://www.cnblogs.com/zwt1990/p/6762135.html最近忙於專案已經好久幾天沒寫部落格了，前2篇文章我給大家介紹了搭建基礎springMvc+mybatis的maven工程，這個簡單框架已經可以對付一般的小型專案。但是我們實際專案

噹噹分庫分表中介軟體-sharding-jdbc

使用指南 閱讀本指南前，請先閱讀快速起步。本文件使用更復雜的場景進一步介紹Sharding-JDBC的分庫分表能力。 資料庫模式 本文件中提供了兩個資料來源db0和db1，每個資料來源之中包含了兩組表t_order_0和t_order_1，t_order_item_

dangdang的擴充套件 sharding-jdbc實現動態資料來源分庫分表分頁查詢

dangdang的擴充套件 sharding-jdbc實現動態資料來源分庫分表分頁查詢 dangdang的分庫分表擴充套件 sharding-jdbc 封裝的DBUtil ModuloDatabaseShardingAlgorithm Modulo

【分庫分表】sharding-jdbc—分片策略

==> Preparing: select id,order_id,unique_no,quantity,is_active,inserttime,updatetime from t_order_items where is_active = 1 AND order_id in ( ? , ? , ?

Spring Boot入門教程(四十四): Sharding-JDBC+JPA|MyBatis+Druid分庫分表實現

一：資料庫分片方案 客戶端代理： 分片邏輯在應用端，封裝在jar包中，通過修改或者封裝JDBC層來實現。 噹噹網的 Sharding-JDBC 、阿里的TDDL是兩種比較常用的實現。 中介軟體代理： 在應用和資料中間加了一個代理層。分片邏輯統一維護在中介軟體

學習dangdang的分庫分表擴充套件框架sharding-jdbc（一）

噹噹開源的sharding-jdbc，官方網址：https://github.com/dangdangdotcom/sharding-jdbc   一、簡介 好了，看了這麼多的介紹，感覺還是很高大上的，注意點有： ①對JDBC API進行了原生態的分裝，這是與cobar-c

分庫分表框架Sharding-jdbc以及分散式worker：Elastic-job的使用與踩坑

一、為什麼要使用Sharding      在當今網際網路企業中，資料成倍增長是一個很頭疼的問題。由於資料庫中一張表存入的資料越多，對資料庫操作的資料就越慢。但是我們如果根據指定的分庫分表策略，將資料分散的到不同的表上，我們查詢時，根據全域性主鍵，只掃某個庫的某一張表，這樣即