2. 程式人生 > >pt-table-checksum校驗與pt-table-sync修復數據

pt-table-checksum校驗與pt-table-sync修復數據

阿新 • • 發佈：2018-11-28
3.0 復制 servers 成功 捕獲 千萬 .com dex 不一致

1：下載工具包 登錄網站下載相應的工具包 https://www.percona.com/downloads/percona-toolkit/LATEST/ 2：安裝 （1）yum安裝： 
sudo yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm
yum list | grep percona-toolkit

結果集顯示以下證明安裝成功：

percona-toolkit.noarch 3.0.0-rc percona-release-noarch

然後進行安裝

sudo yum install percona-toolkit

（2）解壓安裝包：

[root@localhost home]# cd toolkit/
[root@localhost toolkit]# ls
percona-toolkit-2.2.19.tar.gz
[root@localhost toolkit]# tar -xvf percona-toolkit.tar.gz

至此來說已經安裝了percona 的toolKit工具包，下面主要測一下pt-table-checksum校驗與pt-table-sync，前者主要用於數據的校驗，驗證主從是否一致，後者主要用來修復數據，兩者一般情況結合起來用可以修復數據不一致的問題。

pt-table-checksum是percona公司提供的一款驗證主從數據一致性的工具，我們指向主庫，判斷從庫的結果集會反饋給我們，當有捕獲到不一致問題的時候，就會返回一個非0的結果。但是他只能查找數據的不一致，如果要修復數據問題就要使用pt-table-sync。 pt-table-checksum在運行的時候是基於statement復制格式的，如果我們是ROW格式，需要在執行的時候加上--no-check-binlog-format參數。 3：pt-table-checksum的實踐，裝完以後我們就可以直接使用了，我這是使用的是第二種方式 技術分享圖片 
[root@localhost bin]# /home/toolkit/percona-toolkit-2.2.19/bin/pt-table-checksum --nocheck-replication-filters --replicate=rep_test.checksums --no-check-binlog-format h=172.16.16.35,u=root,p=123456,P=3306
TS ERRORS DIFFS ROWS CHUNKS SKIPPED TIME TABLE
06-07T10:55:49 0 0 1 1 0 1.331 MAXIANGQIAN.MAXIANGQIAN
06-07T10:55:54 0 0 1 1 0 5.524 maxiangqian.test
06-07T10:55:56 0 0 4 1 0 1.208 maxiangqian.test01
06-07T10:55:57 0 0 0 1 0 1.164 mysql.columns_priv
06-07T10:55:58 0 0 5 1 0 1.216 mysql.db
06-07T10:55:59 0 0 2 1 0 1.176 mysql.engine_cost
06-07T10:56:00 0 0 0 1 0 1.178 mysql.event
06-07T10:56:01 0 0 0 1 0 1.160 mysql.func
06-07T10:56:03 0 0 1 1 0 1.154 mysql.gtid_executed
06-07T10:56:08 0 0 40 4 0 5.015 mysql.help_category
06-07T10:56:13 0 0 679 5 0 5.806 mysql.help_keyword
06-07T10:56:18 0 0 1334 4 0 4.572 mysql.help_relation
06-07T10:56:19 0 0 635 1 0 1.169 mysql.help_topic
06-07T10:56:20 0 0 0 1 0 1.163 mysql.ndb_binlog_index
06-07T10:56:22 0 0 0 1 0 1.157 mysql.plugin
06-07T10:56:23 0 1 48 1 0 1.236 mysql.proc
06-07T10:56:24 0 0 0 1 0 1.197 mysql.procs_priv
06-07T10:56:25 0 0 1 1 0 1.235 mysql.proxies_priv
06-07T10:56:26 0 0 6 1 0 1.188 mysql.server_cost
06-07T10:56:28 0 0 0 1 0 1.154 mysql.servers
06-07T10:56:34 0 0 1 1 0 6.184 mysql.tables_priv
06-07T10:56:35 0 0 0 1 0 1.198 mysql.time_zone
06-07T10:56:36 0 0 0 1 0 1.121 mysql.time_zone_leap_second
06-07T10:56:37 0 0 0 1 0 1.148 mysql.time_zone_name
06-07T10:56:38 0 0 0 1 0 1.147 mysql.time_zone_transition
06-07T10:56:40 0 0 0 1 0 1.138 mysql.time_zone_transition_type
06-07T10:56:41 0 0 8 1 0 1.336 mysql.user
06-07T10:56:42 0 0 0 1 0 1.164 open_api.ma
06-07T10:57:01 0 0 1000000 13 0 18.707 sbtest.sbtest
06-07T10:57:02 0 0 6 1 0 1.263 sys.sys_config
技術分享圖片

我們也可以單獨檢查某一個庫，這樣來縮小檢查範圍：

[root@localhost bin]# /home/toolkit/percona-toolkit-2.2.19/bin/pt-table-checksum --nocheck-replication-filters --replicate=rep_test.checksums --no-check-binlog-format --databases=maxiangqian h=172.16.16.35,u=root,p=123456,P=3306

得到的結果如上,看一下描述:

TS ：完成檢查的時間。 ERRORS ：檢查時候發生錯誤和警告的數量。 DIFFS ：0表示一致，1表示不一致。當指定--no-replicate-check時，會一直為0，當指定--replicate-check-only會顯示不同的信息。 ROWS ：表的行數。 CHUNKS ：被劃分到表中的塊的數目。 SKIPPED ：由於錯誤或警告或過大，則跳過塊的數目。 TIME ：執行的時間。 TABLE ：被檢查的表名。 然後看一下這個主要的參數: 技術分享圖片 
--nocheck-replication-filters ：不檢查復制過濾器，建議啟用。後面可以用--databases來指定需要檢查的數據庫。
--no-check-binlog-format : 不檢查復制的binlog模式，要是binlog模式是ROW，則會報錯。
--replicate-check-only :只顯示不同步的信息。 --replicate= ：把checksum的信息寫入到指定表中，建議直接寫到被檢查的數據庫當中。 --databases= ：指定需要被檢查的數據庫，多個則用逗號隔開。
--tables= ：指定需要被檢查的表，多個用逗號隔開 h=127.0.0.1 ：
Master的地址
u=root ：用戶名
p=123456 ：密碼
P=3306 ：端口
技術分享圖片

通過指定--replicate=rep_test.checksums 參數，會自動生成一個數據庫.把檢查信息都寫到了checksums表中。

進入SLAVE相應的庫中查看checksums表的信息，可以通過以下語句查看不一致的信息： 
mysql> select * from checksums where this_cnt<>master_cnt;

通過上面的 this_crc <> master_crc 更能清楚的看出他們的不一致了，通過chunk知道是這個張表的哪個塊上的記錄出現不一致。

4：檢測數據不一致的情況使用pt-table-sync進行修復 我們看一下上一節我們通過以下的語句檢測到有數據是不一致的: 技術分享圖片 
[root@localhost bin]# /home/toolkit/percona-toolkit-2.2.19/bin/pt-table-checksum --nocheck-replication-filters --replicate=rep_test.checksums --no-check-binlog-format --databases=maxiangqian h=172.16.16.35,u=root,p=123456,P=3306
TS ERRORS DIFFS ROWS CHUNKS SKIPPED TIME TABLE
06-07T11:13:18 0 0 1 1 0 1.220 MAXIANGQIAN.MAXIANGQIAN
06-07T11:13:19 0 1 1 1 0 1.135 maxiangqian.test
06-07T11:13:21 0 0 4 1 0 1.197 maxiangqian.test01
技術分享圖片

恢復不一致數據:

技術分享圖片 
[root@localhost bin]# clear
[root@localhost bin]# ./pt-table-sync --execute h=172.16.16.35,P=3306,D=maxiangqian,t=test,u=root,p=123456 h=172.16.16.34,P=3306,u=root,p=123456 --no-check-slave --print
[root@localhost bin]# /home/toolkit/percona-toolkit-2.2.19/bin/pt-table-checksum --nocheck-replication-filters --replicate=rep_test.checksums --no-check-binlog-format --databases=maxiangqian h=172.16.16.35,u=root,p=123456,P=3306
TS ERRORS DIFFS ROWS CHUNKS SKIPPED TIME TABLE
06-07T11:18:09 0 0 1 1 0 1.172 MAXIANGQIAN.MAXIANGQIAN
06-07T11:18:10 0 0 1 1 0 1.144 maxiangqian.test
06-07T11:18:11 0 0 4 1 0 1.282 maxiangqian.test01
技術分享圖片

本身來說test這張表少了一行數據,執行以後主體和副本的數據將會一致:

接下來我們再看一下看一下pt-table-sync的一些使用案例: （1）將host1上的數據同步到host2,只同步db.tbl表 
pt-table-sync --execute h=host1,D=db,t=tbl h=host2
[root@localhost bin]# ./pt-table-sync --execute h=172.16.16.35,P=3306,D=maxiangqian,t=test,u=root,p=123456 h=172.16.16.34,P=3306,u=root,p=123456 --no-check-slave --print

（2）將host1 上的所有數據同步到host2和host3

pt-table-sync --execute host1 host2 host3
[root@localhost bin]# ./pt-table-sync --execute h=172.16.16.35,P=3306,D=maxiangqian,t=test,u=root,p=123456 h=172.16.16.34,P=3306,u=root,p=123456 h=172.16.16.35,P=3307,u=root,p=123456 --no-check-slave --print

（3）確保slave1上的所有數據和主庫是同步的

pt-table-sync --execute --sync-to-master slave1
[root@localhost bin]# ./pt-table-sync --execute --sync-to-master h=172.16.16.34,P=3306,u=root,p=123456 --no-check-slave --print

這個要求所檢查的表是必須有主鍵或者說唯一索引的。我們也可以按照下面指定單庫的單表

[root@localhost bin]# ./pt-table-sync --execute --sync-to-master h=172.16.16.34,P=3306,D=maxiangqian,t=test01,u=root,p=123456 --no-check-slave --print

（4）按照檢查生成的rep_test.checksums恢復所有的從庫

pt-table-sync --execute --replicate test.checksum master1

也就是下面的例子：

[root@localhost bin]# ./pt-table-sync --execute --replicate rep_test.checksums h=172.16.16.35,P=3306,u=root,p=123456

（5）只修復slave1的數據

/pt-table-sync --execute --replicate rep_test.checksums --sync-to-master slave1

（6）雙主模式master2修復自身數據：

pt-table-sync --execute --sync-to-master h=master2,D=db,t=tbl

由於雙主模式有很多問題，一個修改可能會傳給另外的數據庫，所以說我們千萬不能在雙主的模式下執行以下的操作：

pt-table-sync --execute h=master1,D=db,t=tbl master2

pt-table-checksum校驗與pt-table-sync修復數據

相關推薦

pt-table-checksum校驗與pt-table-sync修復數據

3.0 復制 servers 成功 捕獲 千萬 .com dex 不一致 1：下載工具包 登錄網站下載相應的工具包 https://www.percona.com/downloads/percona-toolkit/LATEST/ 2：安裝 （1）yum安裝： sudo

mysql主從一致性校驗工具-pt

基於 databases 訪問 str roc tac pro isa cau 一、環境 1、系統環境 系統IP主機名說明server_id centos6.7 MasterIP master 數據庫：主 177 centos6.7 SlaveIP slave

elment 中 el-table 進行校驗

腦洞大開：什麼是展示資料最好的方式呢，表格，寫得又快，又清晰，又明顯，那麼就積累一些工作中表格經常使用到的東西。 第一步：效果圖：   第二步：舉個例子： <template> <div> <el-button type="primar

Hadoop資料完整性與CheckSum校驗原理

一、HDFS資料完整性 使用者肯定都希望系統在儲存和處理資料時，資料不會有任何丟失或損壞。但是，受網路不穩定、硬體損壞等因素，IO操作過程中難免會出現資料丟失或髒資料，難免會出現資料丟失或髒資料，資料傳輸的量越大，出現錯誤的概率就越高。 檢測資料是否損壞的常

表單提交校驗與密碼的加密

turn log hal algo npr eth mvc service 去掉 首先，我們需要對用戶名進行非空校驗，為了避免用戶輸入兩個空串，我們在此自定義去空轉換器，springmvc.xml的定義： 1 <!-- Converter轉換器 工廠 --&g

Vue 元件引數校驗與非 props 特性

元件的引數校驗：父元件通過屬性傳遞給子元件資料，子元件有權對這些資料進行約束，這就是引數校驗。 如下，簡單的引數校驗。 <div id="root"> <child content="hello world"></child> <!-- 下

SpringBoot專案總結--（1）欄位校驗與加密

一、多欄位校驗 提供Validator的實現類，並且實現Validator介面的supports和validate方法。supports方法用於判斷當前類是不是需要校驗的類。只有當supports方法返回的結果為true時，validate方法才會執行進行校驗。 p

交易校驗與交易指令碼

校驗與指令碼 交易校驗是基於對指令碼語言的執行結果的判斷。 交易校驗引擎依賴於兩種型別的指令碼： * unlocking script * locking script 當一個交易被校驗有效時，每個輸入的unlocking script會與對應的locking script

Vue之元件引數校驗與非props特性

子元件對父元件傳遞資料的校驗： 何為校驗：就是對父元件傳遞的資料進行一定的限制。比如我子元件只接收字串型別資料。其他不要等等。 （如果資料型別不符合。Vue會在控制檯丟擲警告。） 一下是資料可以為數字型別或者字串型別的寫法。以陣列的形式： 資料型別的其他寫法。

SAP 校驗與替代實現過程日誌

本次日誌記錄驗證規則的出口: 1.複製系統標準的出口程式 GCX2,檢視該系統是否存在複製，如果GBLR退出程式不是RGGBR000,則該系統已經存在複製介面，直接去修改就可以了. 2.建立驗證規則 GGB0 下圖示記退出介面，需要在GCX2的複製程式中

前端校驗與後端校驗

後端驗證是為了保證安全，前端驗證是為了讓使用者體驗更好。 必須在後端校驗的 唯一性驗證，驗證碼，敏感詞，出錯概率高的要做非同步校驗。 後端校驗可以防止介面被私自呼叫導致破壞資料庫結構；避免有人模擬瀏覽器行為直接給伺服器發請求。 有必要在前端校驗的 必填項、（郵

使用javascript實現身份證校驗與資訊提取

我們先了解一下身份證是怎麼校驗的： 將前面的身份證號碼17位數分別乘以不同的係數，將這17位數字和係數相乘的結果相加，然後除以11求餘，根據最後的餘數對應校驗碼，判斷身份證是否符合要求。 現在我們開始寫程式碼 <!DOCTYPE html> <html> <hea

資料校驗與陣列磁碟

海明校驗碼和 異或校驗是兩種最為常用的 資料校驗演算法。海明校驗碼是由理查德.海明提出的，不僅能檢測錯誤，還能給出錯誤位置並自動糾正。海明校驗的基本思想是： 將有效資訊按照某種規律分成若干組，對每一個組作奇偶測試並安排一個校驗位，從而能提供多位檢錯資訊，以定位錯誤點並糾正

外部介面 -- 密文校驗與資料傳輸

1. 對於第三方引用我們的介面，按照一切不信任原則，我們都要進行加密校驗。 2.考慮到密文驗證的通用性，將此方法從controller剝離出來，放到攔截器實現。    step1 : 註冊攔截器 <mvc:interceptors> &

struts2表單校驗與錯誤資訊處理

struts2的表單校驗 對於開發表單校驗兩種途徑: 客戶端校驗:js在頁面校驗,好處:使用者體驗好,快,缺點:不安全. 服務端校驗:通過頁面需要訪問伺服器來獲取校驗結果,校驗在服務端,優點:安全.缺點:效率. 伺服器端表單校驗 服務端表單校驗,

[Linux] 023 RPM 包校驗與文件提取

驗證 ron 中文 文件丟失 ls 命令 選項 公開課 文件的 提取文件 1. RPM 包校驗 $ rpm -V 已安裝的包名 選項 釋義 -V (verify) 校驗指定 RPM 包中的文件 (1) 驗證內容中的 8 個信息的具體內容如下

springBoot資料校驗與統一異常處理

概念 　　異常，在程式中經常發生，如果發生異常怎樣給使用者一個良好的反饋體驗就是我們需要處理的問題。以前處理異常資訊，經常都是給前端一個統一的響應，如資料錯誤，程式崩潰等等。沒辦法指出哪裡出錯了，這是一種對使用者很不友好的體驗。我們應該根據自己的業務給予資訊提示 異常類 　　定義一個全域性的異常類，有異

SpringBoot中BeanValidation資料校驗與優雅處理詳解

[toc] ## 本篇要點 > JDK1.8、SpringBoot2.3.4release - 說明後端引數校驗的必要性。 - 介紹**如何使用validator進行引數校驗**。 - 介紹@Valid和@Validated的區別。 - 介紹**如何自定義約束註解**。 - 關於Bean Validat

介面鑑權之sign簽名校驗與JWT驗證

需求描述： 　　專案裡的幾個Webapi介面需要進行鑑權，同介面可被小程式或網頁呼叫，小程式裡沒有使用者登入的概念，網頁裡有使用者登入的概念，對於呼叫方來源是小程式的情況下進行放權，其他情況下需要有身份驗證。也就是說給所有小程式請求進行放行，給網頁請求進行jwt身份驗證。由於我的小程式沒有使用者登入的功能，所

WPF 之 Binding 對資料的校驗與轉換（三）

# 一、前言 ​ Binding 的作用就是架在 **Source** 和 **Target** 之間的橋樑，資料可以在這座橋樑的幫助下來流通。就像現實中的橋樑會設定一些關卡進行安檢一樣，Binding 這座橋上也可以設定關卡對資料的有效性進行校驗。不僅如此，當兩端要求使用不同的資料型別時，我