近日工作任務較輕，有空學習學習技術，遂來研究如果實現讀寫分離。這裡用部落格記錄下過程，一方面可備日後檢視，同時也能分享給大家（網上的資料真的大都是抄來抄去，，還不帶格式的，看的真心難受）。

完整程式碼：https://github.com/FleyX/demo-project/tree/master/dxfl

1、背景

  一個專案中資料庫最基礎同時也是最主流的是單機資料庫，讀寫都在一個庫中。當用戶逐漸增多，單機資料庫無法滿足效能要求時，就會進行讀寫分離改造（適用於讀多寫少），寫操作一個庫，讀操作多個庫，通常會做一個數據庫叢集，開啟主從備份，一主多從，以提高讀取效能。當用戶更多讀寫分離也無法滿足時，就需要分散式資料庫了（可能以後會學習怎麼弄）。

  正常情況下讀寫分離的實現，首先要做一個一主多從的資料庫叢集，同時還需要進行資料同步。這一篇記錄如何用 mysql 搭建一個一主多次的配置，下一篇記錄程式碼層面如何實現讀寫分離。

2、搭建一主多從資料庫叢集

  主從備份需要多臺虛擬機器，我是用 wmware 完整克隆多個例項，注意直接克隆的虛擬機器會導致每個資料庫的 uuid 相同，需要修改為不同的 uuid。修改方法參考這個：點選跳轉。

• 主庫配置

  主資料庫（master）中新建一個使用者用於從資料庫（slave）讀取主資料庫二進位制日誌，sql 語句如下：

  mysql> CREATE USER 'repl'@'%' IDENTIFIED BY '123456';#建立使用者
  mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';#分配許可權
  mysql>flush privileges;   #重新整理許可權
   
  

  同時修改 mysql 配置檔案開啟二進位制日誌，新增部分如下：

  [mysqld]
  server-id=1
  log-bin=master-bin
  log-bin-index=master-bin.index

  然後重啟資料庫，使用show master status;語句檢視主庫狀態，如下所示：

• 從庫配置

  同樣先新增幾行配置：

  [mysqld]
  server-id=2
  relay-log-index=slave-relay-bin.index
  relay-log=slave-relay-bin

  然後重啟資料庫，使用如下語句連線主庫：

  CHANGE MASTER TO
           MASTER_HOST='192.168.226.5',
           MASTER_USER='root',
           MASTER_PASSWORD='123456',
           MASTER_LOG_FILE='master-bin.000003',
           MASTER_LOG_POS=154;
   
  

  接著執行start slave;開啟備份,正常情況如下圖所示：Slave_IO_Running 和 Slave_SQL_Running 都為 yes。

  

可以用這個步驟開啟多個從庫。

  預設情況下備份是主庫的全部操作都會備份到從庫，實際可能需要忽略某些庫，可以在主庫中增加如下配置：

# 不同步哪些資料庫
binlog-ignore-db = mysql
binlog-ignore-db = test
binlog-ignore-db = information_schema

# 只同步哪些資料庫，除此之外，其他不同步
binlog-do-db = game

3、程式碼層面進行讀寫分離

  程式碼環境是 springboot+mybatis+druib 連線池。想要讀寫分離就需要配置多個數據源，在進行寫操作是選擇寫的資料來源，讀操作時選擇讀的資料來源。其中有兩個關鍵點：

• 如何切換資料來源
• 如何根據不同的方法選擇正確的資料來源

1)、如何切換資料來源

  通常用 springboot 時都是使用它的預設配置，只需要在配置檔案中定義好連線屬性就行了，但是現在我們需要自己來配置了，spring 是支援多資料來源的，多個 datasource 放在一個 HashMapTargetDataSource中，通過dertermineCurrentLookupKey獲取 key 來覺定要使用哪個資料來源。因此我們的目標就很明確了，建立多個 datasource 放到 TargetDataSource 中，同時重寫 dertermineCurrentLookupKey 方法來決定使用哪個 key。

2)、如何選擇資料來源

  事務一般是註解在 Service 層的，因此在開始這個 service 方法呼叫時要確定資料來源，有什麼通用方法能夠在開始執行一個方法前做操作呢？相信你已經想到了那就是切面 。怎麼切有兩種辦法：

• 註解式，定義一個只讀註解，被該資料標註的方法使用讀庫
• 方法名，根據方法名寫切點，比如 getXXX 用讀庫，setXXX 用寫庫

3)、程式碼編寫

a、編寫配置檔案，配置兩個資料來源資訊

  只有必填資訊，其他都有預設設定

mysql:
  datasource:
    #讀庫數目
    num: 1
    type-aliases-package: com.example.dxfl.dao
    mapper-locations: classpath:/mapper/*.xml
    config-location: classpath:/mybatis-config.xml
    write:
      url: jdbc:mysql://192.168.226.5:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true
      username: root
      password: 123456
      driver-class-name: com.mysql.jdbc.Driver
    read:
      url: jdbc:mysql://192.168.226.6:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true
      username: root
      password: 123456
      driver-class-name: com.mysql.jdbc.Driver

b、編寫 DbContextHolder 類

  這個類用來設定資料庫類別，其中有一個 ThreadLocal 用來儲存每個執行緒的是使用讀庫，還是寫庫。程式碼如下：

/**
 * Description 這裡切換讀/寫模式
 * 原理是利用ThreadLocal儲存當前執行緒是否處於讀模式（通過開始READ_ONLY註解在開始操作前設定模式為讀模式，
 * 操作結束後清除該資料，避免記憶體洩漏，同時也為了後續在該執行緒進行寫操作時任然為讀模式
 * @author fxb
 * @date 2018-08-31
 */
public class DbContextHolder {

    private static Logger log = LoggerFactory.getLogger(DbContextHolder.class);
    public static final String WRITE = "write";
    public static final String READ = "read";

    private static ThreadLocal<String> contextHolder= new ThreadLocal<>();

    public static void setDbType(String dbType) {
        if (dbType == null) {
            log.error("dbType為空");
            throw new NullPointerException();
        }
        log.info("設定dbType為：{}",dbType);
        contextHolder.set(dbType);
    }

    public static String getDbType() {
        return contextHolder.get() == null ? WRITE : contextHolder.get();
    }

    public static void clearDbType() {
        contextHolder.remove();
    }
}

c、重寫 determineCurrentLookupKey 方法

  spring 在開始進行資料庫操作時會通過這個方法來決定使用哪個資料庫，因此我們在這裡呼叫上面 DbContextHolder 類的getDbType()方法獲取當前操作類別,同時可進行讀庫的負載均衡，程式碼如下：

public class MyAbstractRoutingDataSource extends AbstractRoutingDataSource {

    @Value("${mysql.datasource.num}")
    private int num;

    private final Logger log = LoggerFactory.getLogger(this.getClass());

    @Override
    protected Object determineCurrentLookupKey() {
        String typeKey = DbContextHolder.getDbType();
        if (typeKey == DbContextHolder.WRITE) {
            log.info("使用了寫庫");
            return typeKey;
        }
        //使用隨機數決定使用哪個讀庫
        int sum = NumberUtil.getRandom(1, num);
        log.info("使用了讀庫{}", sum);
        return DbContextHolder.READ + sum;
    }
}

d、編寫配置類

  由於要進行讀寫分離，不能再用 springboot 的預設配置，我們需要手動來進行配置。首先生成資料來源，使用@ConfigurProperties 自動生成資料來源：

    /**
     * 寫資料來源
     *
     * @Primary 標誌這個 Bean 如果在多個同類 Bean 候選時，該 Bean 優先被考慮。
     * 多資料來源配置的時候注意，必須要有一個主資料來源，用 @Primary 標誌該 Bean
     */
    @Primary
    @Bean
    @ConfigurationProperties(prefix = "mysql.datasource.write")
    public DataSource writeDataSource() {
        return new DruidDataSource();
    }

讀資料來源類似，注意有多少個讀庫就要設定多少個讀資料來源，Bean 名為 read+序號。

  然後設定資料來源，使用的是我們之前寫的 MyAbstractRoutingDataSource 類

    /**
     * 設定資料來源路由，通過該類中的determineCurrentLookupKey決定使用哪個資料來源
     */
    @Bean
    public AbstractRoutingDataSource routingDataSource() {
        MyAbstractRoutingDataSource proxy = new MyAbstractRoutingDataSource();
        Map<Object, Object> targetDataSources = new HashMap<>(2);
        targetDataSources.put(DbContextHolder.WRITE, writeDataSource());
        targetDataSources.put(DbContextHolder.READ+"1", read1());
        proxy.setDefaultTargetDataSource(writeDataSource());
        proxy.setTargetDataSources(targetDataSources);
        return proxy;
    }

  接著需要設定 sqlSessionFactory

    /**
     * 多資料來源需要自己設定sqlSessionFactory
     */
    @Bean
    public SqlSessionFactory sqlSessionFactory() throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(routingDataSource());
        ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();
        // 實體類對應的位置
        bean.setTypeAliasesPackage(typeAliasesPackage);
        // mybatis的XML的配置
        bean.setMapperLocations(resolver.getResources(mapperLocation));
        bean.setConfigLocation(resolver.getResource(configLocation));
        return bean.getObject();
    }

  最後還得配置下事務，否則事務不生效

    /**
     * 設定事務，事務需要知道當前使用的是哪個資料來源才能進行事務處理
     */
    @Bean
    public DataSourceTransactionManager dataSourceTransactionManager() {
        return new DataSourceTransactionManager(routingDataSource());
    }

4)、選擇資料來源

  多資料來源配置好了，但是程式碼層面如何選擇選擇資料來源呢？這裡介紹兩種辦法：

a、註解式

  首先定義一個只讀註解，被這個註解方法使用讀庫，其他使用寫庫，如果專案是中途改造成讀寫分離可使用這個方法，無需修改業務程式碼，只要在只讀的 service 方法上加一個註解即可。

@Target({ElementType.METHOD,ElementType.TYPE})
@Retention(RetentionPolicy.RUNTIME)
public @interface ReadOnly {
}

  然後寫一個切面來切換資料使用哪種資料來源，重寫 getOrder 保證本切面優先順序高於事務切面優先順序，在啟動類加上@EnableTransactionManagement(order = 10),為了程式碼如下：

@Aspect
@Component
public class ReadOnlyInterceptor implements Ordered {
    private static final Logger log= LoggerFactory.getLogger(ReadOnlyInterceptor.class);

    @Around("@annotation(readOnly)")
    public Object setRead(ProceedingJoinPoint joinPoint,ReadOnly readOnly) throws Throwable{
        try{
            DbContextHolder.setDbType(DbContextHolder.READ);
            return joinPoint.proceed();
        }finally {
            //清楚DbType一方面為了避免記憶體洩漏，更重要的是避免對後續在本執行緒上執行的操作產生影響
            DbContextHolder.clearDbType();
            log.info("清除threadLocal");
        }
    }

    @Override
    public int getOrder() {
        return 0;
    }
}

b、方法名式

  這種方法不許要註解，但是需要service中方法名稱按一定規則編寫，然後通過切面來設定資料庫類別，比如setXXX設定為寫、getXXX設定為讀，程式碼我就不寫了，應該都知道怎麼寫。

4、測試

  編寫好程式碼來試試結果如何，下面是執行截圖：

讀寫分離只是資料庫擴充套件的一個臨時解決辦法，並不能一勞永逸，隨著負載進一步增大，只有一個庫用於寫入肯定是不夠的，而且單表的資料庫是有上限的，mysql 最多千萬級別的資料能保持較好的查詢效能。最終還是會變成--分庫分表架構的。分庫分表可以看看這一篇：https://www.tapme.top/blog/detail/2019-03-20-10-38

本文原創釋出於：www.tapme.top/blog/detail/2018-09-10-10