1. 程式人生 > >MySQL資料歸檔小工具推薦--mysql_archiver

MySQL資料歸檔小工具推薦--mysql_archiver

一.主要概述

MySQL資料庫歸檔歷史資料主要可以分為三種方式:一.建立編寫SP、設定Event;二.通過dump匯入匯出;三.通過pt-archiver工具進行歸檔。第一種方式往往受限於同例項要求,往往被大家捨棄。第二種,效能相對較好,但是歸檔表較多時運維也是比較頭疼的事。所以很多DBA往往採用第三種方式--pt-archiver。

pt-archiver是Percona-Toolkit工具集中的一個元件,是一個主要用於對MySQL表資料進行歸檔和清除的工具。它可以將資料歸檔到另一張表或者是一個檔案中。pt-archiver在清除表資料的過程中並不會影響OLTP事務的查詢效能。對於資料的歸檔,它可以歸檔到另一臺伺服器上的另一張表,也可歸檔到一個檔案中。

有一個網友通過Python開發了將pt-archiver打包成了一個小工具—mysql_archiver,它基本實現了歸檔作業的配置化部署,使用起來挺不錯。"MySQL_archiver基本上實現了資料歸檔的自動運轉,統一的歸檔任務排程管理、自動監控和預警、自動生成報表。在一定程度上節約了生產力,提高了運維效率。"

github地址:https://github.com/dbarun/mysql_archiver

 

二.pt-archiver主要引數

引數 預設值 引數解釋
--check-slave-lag   指定主從複製延遲大於選項'--max-lag'指定的值之後暫停歸檔操作。預設情況下,工具會檢查所有的從庫,但該選項只作用於指定的從庫(通過DSN連線方式)。
--check-interval 1s 如果同時指定了選項'--check-slave-lag',則該選項指定的時間為工具發現主從複製延遲時暫停的時間。每進行操作100行時進行一次檢查。
--[no]check-charset yes 指定檢查確保資料庫連線時字符集和表字符集相同。
--commit-each   指定按每次獲取和歸檔的行數進行提交,該選項會禁用選項'--txn-size'。 在每次獲取表資料並進行歸檔之後,在獲取下一次資料和選項'--sleep'指定的休眠時間之前,進行事務提交和重新整理選項'--file'指定的檔案,通過選項'--limit'控制事務的大小。
--host,-h   指定連線的資料庫IP地址。
--port,-P   指定連線的資料庫Port埠。
--user,-u   指定連線的資料庫使用者。
--password,-p   指定連線的資料庫使用者密碼。
--socket,-S   指定使用SOCKET檔案連線。
--databases,-d   指定連線的資料庫
--source   指定需要進行歸檔操作的表,該選項是必須指定的選項,使用DSN方式表示。
--dest   指定要歸檔到的目標端表,使用DSN方式表示。 如果該選項沒有指定的話,則預設與選項'--source'指定源端表為相同表。
--where   指定通過WHERE條件語句指定需要歸檔的資料,該選項是必須指定的選項。不需要加上'WHERE'關鍵字,如果確實不需要WHERE條件進行限制,則指定'--where 1=1'。
--file   指定表資料需要歸檔到的檔案。使用類似MySQL DATE_FORMAT()格式化命名方式。 檔案內容與MySQL中SELECT INTO OUTFILE語句使用相同的格式,檔案命名選項如下所示: ' %Y:年,4位數(Year, numeric, four digits) %m:月,2位數(Month, numeric (01..12)) %d:日,2位數(Day of the month, numeric (01..31)) %H:小時(Hour (00..23)) %i:分鐘(Minutes, numeric (00..59)) %s:秒(Seconds (00..59)) %D:資料庫名(Database name) %t:表名(Table name) 例如:--file '/var/log/archive/%Y-%m-%d-%D.%t' '
--output-format   指定選項'--file'檔案內容輸出的格式。 預設不指定該選項是以製表符進行欄位的分隔符,如果指定該選項,則使用','(逗號)作為欄位分隔符,使用'"'(雙引號)將欄位括起。用法示例:'--output-format=dump'。
--limit 1 指定每條語句獲取表和歸檔表的行數。
--max-lag 1s 指定允許主從複製延遲時長的最大值,單位秒。如果在每次獲取行資料之後主從延遲超過指定的值,則歸檔操作將暫停執行,暫停休眠時間為選項'--check-interval'指定的值。待休眠時間結束之後再次檢查主從延遲時長,檢查方法是通過從庫查詢的'Seconds_Behind_Master'值來確定。如果主從複製延遲一直大於該引數指定值或者從庫停止複製,則操作將一直等待直到從庫重新啟動並且延遲小於該引數指定值.
--no-delete   指定不刪除已被歸檔的表資料。
--progress   指定每多少行列印進度資訊,列印當前時間,已用時間以及多少行進行歸檔。
--purge   指定執行的清除操作而不是歸檔操作。允許忽略選項'--dest'和'--file'進行操作,如果只是清除操作可以結合選項'--primary-key-only'會更高效。
--replace   指定寫入選項'--dest'指定目標端表時改寫INSERT語句為REPLACE語句。
--retries 1 指定歸檔操作遇到死鎖或超時的重試次數。當重試次數超過該選項指定的值時,工具將報錯退出。
--run-time   指定工具歸檔操作在退出之前需要執行的時間。允許的時間字尾名為s=秒,m=分,h=小時,d=天,如果沒指定,預設為s。
--[no]safe-auto-increment yes 指定不使用自增列(AUTO_INCREMENT)最大值對應的行進行歸檔。 該選項在進行歸檔清除時會額外新增一條WHERE子句以防止工具刪除單列升序欄位具有的具有AUTO_INCREMENT屬性最大值的資料行,為了在資料庫重啟之後還能使用到AUTO_INCREMENT對應的值,但這會引起無法歸檔或清除欄位對應最大值的行。
--sleep   指定工具在通過SELECT語句獲取歸檔資料需要休眠的時間,預設值是不進行休眠。在休眠之前事務並不會提交,並且選項'--file'指定的檔案不會被重新整理。如果指定選項'--commit-each',則在休眠之前會進行事務提交和檔案重新整理。
--statistics   指定工具收集並列印操作的時間統計資訊。
--txn-size 1 指定每個事務處理的行數。如果是0則禁用事務功能。
--why-quit   指定工具列印當非因完成歸檔行數退出的原因。 在執行一個自動歸檔任務時該選項與選項'--run-time'一起使用非常方便,這樣可以確定歸檔任務是否在指定的時間內完成。如果同時指定了選項'--statistics',則會列印所有退出的原因。
--skip-foreign-key-checks   指定使用語句SET FOREIGN_KEY_CHECKS = 0禁用外來鍵檢查。

 

三,安裝部署mysql_archiver常見錯誤

1. 執行python db_archive_exec.py 127.0.0.1 db123 報錯

Traceback (most recent call last):
  File "/data/mysql_archiver/mysql_archiver-master/db_archive_exec.py", line 7, in <module>
    import db_conn
  File "/data/mysql_archiver/mysql_archiver-master/db_conn.py", line 4, in <module>
    import MySQLdb
ImportError: No module named MySQLdb

 解決方案:

Step 1 基礎環境

rm -rf /etc/yum.repos.d/epel*
yum install postgresql-devel python3-devel postgresql-devel python-devel

Step 2 安裝setuptools

(1)    下載    setuptools-39.2.0.zip
(2)    解壓安裝 python setup.py build
                python setup.py install

step 3 安裝pip

(1)    下載 pip-1.5.4.tar.gz
(2)    安裝 python setup.py install

step 4 安裝MySQL-python

yum install MySQL-python

 

2.報錯缺少pt-archiver工具

sh: pt-archiver: command not found

解決方案:

下載percona-toolkit-3.2.1_x86_64.tar.gz,安裝,並且設定個軟連線。

例如:

ln -s /data/mysql_archiver/percona-toolkit-3.2.1/bin/pt-archiver /usr/local/bin/pt-archiver

 

3.缺少文件

<type 'exceptions.Exception'>
[Errno 2] No such file or directory: u'/software/python_script/db_archive_XXXXdb_XXXtablename.log'

解決方案:

建立文件: /software/python_script

 

4.字符集問題

Character set mismatch: --source DSN uses utf8, table uses utf8mb4.  You can disable this check by specifying --no-check-charset.

解決方案:

修改db_archive_exec.py可執行檔案,針對pt-archiver新增引數 --no-check-charset

 

 5.引數設定報錯

Usage: pt-archiver [OPTIONS] --source DSN --where WHERE

Errors in command-line arguments:
  * --txn-size and --commit-each are mutually exclusive.

pt-archiver nibbles records from a MySQL table.  The --source and --dest
arguments use DSN syntax; if COPY is yes, --dest defaults to the key's value
from --source.  For more details, please use the --help option, or try 'perldoc
/usr/local/bin/pt-archiver' for complete documentation.

 解決方案:

pt-archiver去掉引數 --commit-each

 

 6.Cannot find encoding "utf8mb4"

報錯資訊:

Cannot find encoding "utf8mb4" at /usr/local/bin/pt-archiver line 6711.

 解決方案:

pt-archiver去掉引數 --bulk-insert --bulk-delete

 

四.主要參考資料

1.MySQL資料歸檔實戰-Python和pt-archiver的強強結合

https://blog.csdn.net/n88lpo/article/details/78905528?utm_medium=distribute.pc_relevant.none-task-blog-baidulandingword-14&spm=1001.2101.3001.4242

2.MySQL資料歸檔小工具

https://github.com/dbarun/mysql_archiver#readme

3.在linux下安裝MySQLdb及基本操作

https://www.cnblogs.com/blogsme/archive/2012/12/12/2814588.html

4.pt工具之pt-archiver

https://www.cnblogs.com/yhq1314/p/10601801.html

5.linux下pip的安裝步驟及使用詳解

https://www.jb51.net/article/118035.htm

6.Percona-Toolkit 之 pt-archiver 總結

https://www.cnblogs.com/dbabd/p/10721857.