1. 程式人生 > 實用技巧 >學會MySQL主從複製讀寫分離,看這篇就夠了

學會MySQL主從複製讀寫分離,看這篇就夠了

前言

在很多專案,特別是網際網路專案,在使用MySQL時都會採用主從複製、讀寫分離的架構。

為什麼要採用主從複製讀寫分離的架構?如何實現?有什麼缺點?讓我們帶著這些問題開始這段學習之旅吧!

為什麼使用主從複製、讀寫分離

主從複製、讀寫分離一般是一起使用的。目的很簡單,就是為了提高資料庫的併發效能。你想,假設是單機,讀寫都在一臺MySQL上面完成,效能肯定不高。如果有三臺MySQL,一臺mater只負責寫操作,兩臺salve只負責讀操作,效能不就能大大提高了嗎?

所以主從複製、讀寫分離就是為了資料庫能支援更大的併發

隨著業務量的擴充套件、如果是單機部署的MySQL,會導致I/O頻率過高。採用主從複製、讀寫分離可以提高資料庫的可用性

主從複製的原理

①當Master節點進行insert、update、delete操作時,會按順序寫入到binlog中。

②salve從庫連線master主庫,Master有多少個slave就會建立多少個binlog dump執行緒。

③當Master節點的binlog發生變化時,binlog dump 執行緒會通知所有的salve節點,並將相應的binlog內容推送給slave節點。

④I/O執行緒接收到 binlog 內容後,將內容寫入到本地的 relay-log。

⑤SQL執行緒讀取I/O執行緒寫入的relay-log,並且根據 relay-log 的內容對從資料庫做對應的操作。

如何實現主從複製

我這裡用三臺虛擬機器(Linux)演示,IP分別是104(Master),106(Slave),107(Slave)。

預期的效果是一主二從,如下圖所示:

Master配置

使用命令列進入mysql:

mysql-uroot-p

接著輸入root使用者的密碼(密碼忘記的話就網上查一下重置密碼吧~),然後建立使用者:

//192.168.0.106是slave從機的IP
GRANTREPLICATIONSLAVEON*.*to'root'@'192.168.0.106'identifiedby'Java@1234';
//192.168.0.107是slave從機的IP
GRANTREPLICATIONSLAVEON*.*to'root'@'192.168.0.107'identifiedby'Java@1234';
//刷新系統許可權表的配置
FLUSHPRIVILEGES;

建立的這兩個使用者在配置slave從機時要用到。

接下來在找到mysql的配置檔案/etc/my.cnf,增加以下配置:

# 開啟binlog
log-bin=mysql-bin
server-id=104
# 需要同步的資料庫,如果不配置則同步全部資料庫
binlog-do-db=test_db
# binlog日誌保留的天數,清除超過10天的日誌
# 防止日誌檔案過大,導致磁碟空間不足
expire-logs-days=10

配置完成後,重啟mysql:

servicemysqlrestart

可以通過命令列show master status\G;檢視當前binlog日誌的資訊(後面有用):

Slave配置

Slave配置相對簡單一點。從機肯定也是一臺MySQL伺服器,所以和Master一樣,找到/etc/my.cnf配置檔案,增加以下配置:

# 不要和其他mysql服務id重複即可
server-id=106

接著使用命令列登入到mysql伺服器:

mysql-uroot-p

然後輸入密碼登入進去。

進入到mysql後,再輸入以下命令:

CHANGEMASTERTO
MASTER_HOST='192.168.0.104',//主機IP
MASTER_USER='root',//之前建立的使用者賬號
MASTER_PASSWORD='Java@1234',//之前建立的使用者密碼
MASTER_LOG_FILE='mysql-bin.000001',//master主機的binlog日誌名稱
MASTER_LOG_POS=862,//binlog日誌偏移量
master_port=3306;//埠

還沒完,設定完之後需要啟動:

#啟動slave服務
startslave;

啟動完之後怎麼校驗是否啟動成功呢?使用以下命令:

showslavestatus\G;

可以看到如下資訊(摘取部分關鍵資訊):

***************************1.row***************************
Slave_IO_State:Waitingformastertosendevent
Master_Host:192.168.0.104
Master_User:root
Master_Port:3306
Connect_Retry:60
Master_Log_File:mysql-bin.000001
Read_Master_Log_Pos:619
Relay_Log_File:mysqld-relay-bin.000001
Relay_Log_Pos:782
Relay_Master_Log_File:mysql-bin.000001//binlog日誌檔名稱
Slave_IO_Running:Yes//Slave_IO執行緒、SQL執行緒都在執行
Slave_SQL_Running:Yes
Master_Server_Id:104//master主機的服務id
Master_UUID:0ab6b3a6-e21d-11ea-aaa3-080027f8d623
Master_Info_File:/var/lib/mysql/master.info
SQL_Delay:0
SQL_Remaining_Delay:NULL
Slave_SQL_Running_State:Slavehasreadallrelaylog;waitingfortheslaveI/Othreadtoupdateit
Master_Retry_Count:86400
Auto_Position:0

另一臺slave從機配置一樣,不再贅述。

測試主從複製

在master主機執行sql:

CREATETABLE`tb_commodity_info`(
`id`varchar(32)NOTNULL,
`commodity_name`varchar(512)DEFAULTNULLCOMMENT'商品名稱',
`commodity_price`varchar(36)DEFAULT'0'COMMENT'商品價格',
`number`int(10)DEFAULT'0'COMMENT'商品數量',
`description`varchar(2048)DEFAULT''COMMENT'商品描述',
PRIMARYKEY(`id`)
)ENGINE=InnoDBDEFAULTCHARSET=utf8mb4COMMENT='商品資訊表';

接著我們可以看到兩臺slave從機同步也建立了商品資訊表:

主從複製就完成了!java技術愛好者有點東西哦~

讀寫分離

主從複製完成後,我們還需要實現讀寫分離,master負責寫入資料,兩臺slave負責讀取資料。怎麼實現呢?

實現的方式有很多,以前我公司是採用AOP的方式,通過方法名判斷,方法名中有get、select、query開頭的則連線slave,其他的則連線master資料庫。

但是通過AOP的方式實現起來程式碼有點繁瑣,有沒有什麼現成的框架呢,答案是有的。

Apache ShardingSphere 是一套開源的分散式資料庫中介軟體解決方案組成的生態圈,它由 JDBC、Proxy兩部分組成。

ShardingSphere-JDBC定位為輕量級 Java 框架,在 Java 的 JDBC 層提供的額外服務。它使用客戶端直連資料庫,以 jar 包形式提供服務,無需額外部署和依賴,可理解為增強版的 JDBC 驅動,完全相容 JDBC 和各種 ORM 框架。

讀寫分離就可以使用ShardingSphere-JDBC實現。

下面演示一下SpringBoot+Mybatis+Mybatis-plus+druid+ShardingSphere-JDBC程式碼實現。

專案配置

版本說明:

SpringBoot:2.0.1.RELEASE
druid:1.1.22
mybatis-spring-boot-starter:1.3.2
mybatis-plus-boot-starter:3.0.7
sharding-jdbc-spring-boot-starter:4.1.1

新增sharding-jdbc的maven配置:

<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>4.1.1</version>
</dependency>

然後在application.yml新增配置:

#這是使用druid連線池的配置,其他的連線池配置可能有所不同
spring:
shardingsphere:
datasource:
names:master,slave0,slave1
master:
type:com.alibaba.druid.pool.DruidDataSource
driver-class-name:com.mysql.jdbc.Driver
url:jdbc:mysql://192.168.0.108:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
username:yehongzhi
password:YHZ@1234
slave0:
type:com.alibaba.druid.pool.DruidDataSource
driver-class-name:com.mysql.jdbc.Driver
url:jdbc:mysql://192.168.0.109:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
username:yehongzhi
password:YHZ@1234
slave1:
type:com.alibaba.druid.pool.DruidDataSource
driver-class-name:com.mysql.jdbc.Driver
url:jdbc:mysql://192.168.0.110:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
username:yehongzhi
password:YHZ@1234
props:
sql.show:true
masterslave:
load-balance-algorithm-type:round_robin
sharding:
master-slave-rules:
master:
master-data-source-name:master
slave-data-source-names:slave0,slave1

sharding.master-slave-rules是標明主庫和從庫,一定不要寫錯,否則寫入資料到從庫,就會導致無法同步。

load-balance-algorithm-type是路由策略,round_robin表示輪詢策略。

啟動專案,可以看到以下資訊,代表配置成功:

編寫Controller介面:

/**
*新增商品
*
*@paramcommodityName商品名稱
*@paramcommodityPrice商品價格
*@paramdescription商品價格
*@paramnumber商品數量
*@returnboolean是否新增成功
*@authorjava技術愛好者
*/
@PostMapping("/insert")
publicbooleaninsertCommodityInfo(@RequestParam(name="commodityName")StringcommodityName,
@RequestParam(name="commodityPrice")StringcommodityPrice,
@RequestParam(name="description")Stringdescription,
@RequestParam(name="number")Integernumber)throwsException{
returncommodityInfoService.insertCommodityInfo(commodityName,commodityPrice,description,number);
}

準備就緒,開始測試!

測試

開啟POSTMAN,新增商品:

控制檯可以看到如下資訊:

查詢資料的話則通過slave進行:

就是這麼簡單!

缺點

儘管主從複製、讀寫分離能很大程度保證MySQL服務的高可用和提高整體效能,但是問題也不少:

  • 從機是通過binlog日誌從master同步資料的,如果在網路延遲的情況,從機就會出現資料延遲。那麼就有可能出現master寫入資料後,slave讀取資料不一定能馬上讀出來

可能有人會問,有沒有事務問題呢?

實際上這個框架已經想到了,我們看回之前的那個截圖,有一句話是這樣的: