1. 程式人生 > 資料庫 >基於python的mysql複製工具詳解

基於python的mysql複製工具詳解

一 簡介

python-mysql-replication 是基於python實現的 MySQL複製協議工具,我們可以用它來解析binlog 獲取日誌的insert,update,delete等事件 ,並基於此做其他業務需求。比如資料更改時失效快取,監聽dml事件通知下游業務方做對應處理。

其專案資訊

二 實踐

2.1 安裝配置

獲取原始碼

git clone http://www.github.com/noplay/python-mysql-replication

使用pip 安裝

pip install mysql-replication

許可權: 可以直接使用複製賬號也可以使用其他賬號,但是該賬號必須 SELECT,REPLICATION SLAVE,REPLICATION CLIENT 許可權

GRANT SELECT,REPLICATION CLIENT ON . TO 'replicator'@'%' IDENTIFIED BY 'xxxxx';

資料庫日誌相關的引數設定如下:

log_bin=on ,binlog_format=row,binlog_row_image=FULL

2.2 核心類介紹

python-mysql-replication 的入口是類BinLogStreamReader(),我們在使用該工具時需要例項化一個BinLogStreamReader()物件 stream, BinLogStreamReader 通過 ReportSlave 向主庫註冊作為一個slave角色,用於接受MySQL的binlog廣播 。有興趣的可以研究其程式碼具體實現。

該例項提供解析 binlog 各種事件的集合,每個事件也是一個物件。

初始化BinLogStreamReader()例項需要使用的引數如下:

2.3 如何使用呢?

最簡單的用法 指令碼名 pyreplica.py

開啟兩個視窗,一個視窗執行,另外一個視窗操作mysql 寫入或者修改資料

python pyreplica.py

輸出如下:

2.3 拓展

基於該工具提供的日誌事件解析我們可以做很多事情,比較有名的工具 binlog2sql 利用該工具解析binlog 做資料回滾 。

mysql-replication.py

執行指令碼結果 如下圖

除了解析binlog,我們還可以用python-mysql-replication

做資料全量加增量遷移。比如僅僅遷移某些大表而不是整個庫的時候,可以用到。有興趣的朋友可以想想大概的演算法。

總結

以上所述是小編給大家介紹的基於python的mysql複製工具,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回覆大家的。在此也非常感謝大家對我們網站的支援!
如果你覺得本文對你有幫助,歡迎轉載,煩請註明出處,謝謝!