mydumper安裝、原理介紹
一、安裝
安裝依賴包：
yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake
下載二進位制包：
wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz
解壓安裝：
tar zxvf mydumper-0.9.1.tar.gz cd mydumper-0.9.1/ cmake . make make install
安裝完成後生成兩個二進位制檔案mydumper和myloader位於/usr/local/bin目錄下
檢視是否正常：
mydumper --help
二、原理介紹
mydumper介紹
MySQL自身的mysqldump工具支援單執行緒工作，依次一個個匯出多個表，沒有一個並行的機，這就使得它無法迅速的備份資料。
mydumper作為一個實用工具，能夠良好支援多執行緒工作，可以並行的多執行緒的從表中讀入資料並同時寫到不同的檔案裡，這使得它在處理速度方面快於傳統的mysqldump。其特徵之一是在處理過程中需要對列表加以鎖定，因此如果我們需要在工作時段執行備份工作，那麼會引起DML阻塞。但一般現在的MySQL都有主從，備份也大部分在從上進行，所以鎖的問題可以不用考慮。這樣，mydumper能更好的完成備份任務。
mydumper特性
①多執行緒備份
②因為是多執行緒邏輯備份，備份後會生成多個備份檔案
③備份時對MyISAM表施加FTWRL(FLUSH TABLES WITH READ LOCK),會阻塞DML語句
④保證備份資料的一致性
⑤支援檔案壓縮
⑥支援匯出binlog
⑦支援多執行緒恢復
⑧支援以守護程序模式工作，定時快照和連續二進位制日誌
⑨支援將備份檔案切塊
mydumper引數詳解
$ mydumper --help Usage: mydumper [OPTION...] multi-threaded MySQL dumping Help Options: -?, --help Show help options Application Options: -B, --database 要備份的資料庫，不指定則備份所有庫 -T, --tables-list 需要備份的表，名字用逗號隔開 -o, --outputdir 備份檔案輸出的目錄 -s, --statement-size 生成的insert語句的位元組數，預設1000000 -r, --rows Try to split tables into chunks of this many rows. This option turns off --chunk-filesize -F, --chunk-filesize Split tables into chunks of this output file size. This value is in MB -c, --compress Compress output files壓縮輸出檔案 -e, --build-empty-files 如果表資料是空，還是產生一個空檔案（預設無資料則只有表結構檔案） -x, --regex Regular expression for 'db.table' matching 使用正則表示式匹配'db.table' -i, --ignore-engines Comma delimited list of storage engines to ignore忽略的儲存引擎，用逗號分割 -m, --no-schemas Do not dump table schemas with the data不備份表結構，只備份資料 -d, --no-data Do not dump table data備份表結構，不備份資料 -G, --triggers Dump triggers備份觸發器 -E, --events Dump events -R, --routines Dump stored procedures and functions備份儲存過程和函式 -k, --no-locks 不使用臨時共享只讀鎖，使用這個選項會造成資料不一致 --less-locking Minimize locking time on InnoDB tables.減少對InnoDB表的鎖施加時間 -l, --long-query-guard 設定阻塞備份的長查詢超時時間，單位是秒，預設是60秒（超時後預設mydumper將會退出） -K, --kill-long-queries Kill long running queries (instead of aborting)殺掉長查詢 (不退出) -D, --daemon Enable daemon mode啟用守護程序模式，守護程序模式以某個間隔不間斷對資料庫進行備 -I, --snapshot-interval dump快照間隔時間，預設60s，需要在daemon模式下 -L, --logfile 使用的日誌檔名(mydumper所產生的日誌), 預設使用標準輸出 --tz-utc SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable. --skip-tz-utc --use-savepoints 使用savepoints來減少採集metadata所造成的鎖時間，需要 SUPER 許可權 --success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn't exist --lock-all-tables Use LOCK TABLE for all, instead of FTWRL -U, --updated-since Use Update_time to dump only tables updated in the last U days --trx-consistency-only Transactional consistency only -h, --host 連線的主機名 -u, --user 用來備份的使用者名稱 -p, --password 使用者密碼 -P, --port 連線埠 -S, --socket 使用socket通訊時的socket檔案 -t, --threads 開啟的備份執行緒數，預設是4 -C, --compress-protocol 壓縮與mysql通訊的資料 -V, --version 顯示版本號 -v, --verbose 輸出資訊模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 預設為2
mydumper主要流程概括
1、主執行緒 FLUSH TABLES WITH READ LOCK, 施加全域性只讀鎖，以阻止DML語句寫入，保證資料的一致性
2、讀取當前時間點的二進位制日誌檔名和日誌寫入的位置並記錄在metadata檔案中，以供即使點恢復使用
3、N個（執行緒數可以指定，預設是4）dump執行緒 START TRANSACTION WITH CONSISTENT SNAPSHOT; 開啟讀一致的事務
4、dump non-InnoDB tables, 首先匯出非事務引擎的表
5、主執行緒 UNLOCK TABLES 非 事務引擎備份完後，釋放全域性只讀鎖
6、dump InnoDB tables, 基於 事務匯出InnoDB表
7、事務結束
mydumper的less locking模式:
mydumper使用--less-locking可以減少鎖等待時間，此時mydumper的執行機制大致為
1、主執行緒 FLUSH TABLES WITH READ LOCK （全域性鎖）
2、Dump執行緒 START TRANSACTION WITH CONSISTENT SNAPSHOT;
3、LL Dump執行緒 LOCK TABLES non-InnoDB （執行緒內部鎖）
4、主執行緒UNLOCK TABLES
5、LL Dump執行緒 dump non-InnoDB tables
6、LL DUmp執行緒 UNLOCK non-InnoDB
7、Dump執行緒 dump InnoDB tables
mydumper備份流程圖
