一.主要概述

MySQL資料庫歸檔歷史資料主要可以分為三種方式：一.建立編寫SP、設定Event；二.通過dump匯入匯出；三.通過pt-archiver工具進行歸檔。第一種方式往往受限於同例項要求，往往被大家捨棄。第二種，效能相對較好，但是歸檔表較多時運維也是比較頭疼的事。所以很多DBA往往採用第三種方式--pt-archiver。

pt-archiver是Percona-Toolkit工具集中的一個元件，是一個主要用於對MySQL表資料進行歸檔和清除的工具。它可以將資料歸檔到另一張表或者是一個檔案中。pt-archiver在清除表資料的過程中並不會影響OLTP事務的查詢效能。對於資料的歸檔，它可以歸檔到另一臺伺服器上的另一張表，也可歸檔到一個檔案中。

有一個網友通過Python開發了將pt-archiver打包成了一個小工具—mysql_archiver，它基本實現了歸檔作業的配置化部署，使用起來挺不錯。"MySQL_archiver基本上實現了資料歸檔的自動運轉，統一的歸檔任務排程管理、自動監控和預警、自動生成報表。在一定程度上節約了生產力，提高了運維效率。"

github地址：https://github.com/dbarun/mysql_archiver

二.pt-archiver主要引數

三,安裝部署mysql_archiver常見錯誤

1. 執行python db_archive_exec.py 127.0.0.1 db123 報錯

Traceback (most recent call last):
  File "/data/mysql_archiver/mysql_archiver-master/db_archive_exec.py", line 7, in <module>
    import db_conn
  File "/data/mysql_archiver/mysql_archiver-master/db_conn.py", line 4, in <module>
    import MySQLdb
ImportError: No module named MySQLdb

 解決方案:

Step 1 基礎環境

rm -rf /etc/yum.repos.d/epel*
yum install postgresql-devel python3-devel postgresql-devel python-devel

Step 2 安裝setuptools

（1）    下載    setuptools-39.2.0.zip
（2）    解壓安裝 python setup.py build
                python setup.py install

step 3 安裝pip

（1）    下載 pip-1.5.4.tar.gz
（2）    安裝 python setup.py install

step 4 安裝MySQL-python

yum install MySQL-python

2.報錯缺少pt-archiver工具

sh: pt-archiver: command not found

解決方案：

下載percona-toolkit-3.2.1_x86_64.tar.gz,安裝，並且設定個軟連線。

例如:

ln -s /data/mysql_archiver/percona-toolkit-3.2.1/bin/pt-archiver /usr/local/bin/pt-archiver

3.缺少文件

<type 'exceptions.Exception'>
[Errno 2] No such file or directory: u'/software/python_script/db_archive_XXXXdb_XXXtablename.log'

解決方案:

建立文件: /software/python_script

4.字符集問題

Character set mismatch: --source DSN uses utf8, table uses utf8mb4.  You can disable this check by specifying --no-check-charset.

解決方案:

修改db_archive_exec.py可執行檔案，針對pt-archiver新增引數 --no-check-charset

 5.引數設定報錯

Usage: pt-archiver [OPTIONS] --source DSN --where WHERE

Errors in command-line arguments:
  * --txn-size and --commit-each are mutually exclusive.

pt-archiver nibbles records from a MySQL table.  The --source and --dest
arguments use DSN syntax; if COPY is yes, --dest defaults to the key's value
from --source.  For more details, please use the --help option, or try 'perldoc
/usr/local/bin/pt-archiver' for complete documentation.

 解決方案:

pt-archiver去掉引數 --commit-each

 6.Cannot find encoding "utf8mb4"

報錯資訊:

Cannot find encoding "utf8mb4" at /usr/local/bin/pt-archiver line 6711.

 解決方案:

pt-archiver去掉引數 --bulk-insert --bulk-delete

四.主要參考資料

1.MySQL資料歸檔實戰-Python和pt-archiver的強強結合

https://blog.csdn.net/n88lpo/article/details/78905528?utm_medium=distribute.pc_relevant.none-task-blog-baidulandingword-14&spm=1001.2101.3001.4242

2.MySQL資料歸檔小工具

https://github.com/dbarun/mysql_archiver#readme

3.在linux下安裝MySQLdb及基本操作

https://www.cnblogs.com/blogsme/archive/2012/12/12/2814588.html

4.pt工具之pt-archiver

https://www.cnblogs.com/yhq1314/p/10601801.html

5.linux下pip的安裝步驟及使用詳解

https://www.jb51.net/article/118035.htm

6.Percona-Toolkit 之 pt-archiver 總結

https://www.cnblogs.com/dbabd/p/10721857.