2. 程式人生 > 其它 >MySQL Backup myloader--轉發

MySQL Backup myloader--轉發

阿新 • • 發佈：2021-08-04

目錄

正文

之前的博文當中提到備份工具mydumper的使用，而軟體包中還包含了與之對應的恢復工具myloader，本文就總結下myloader的用法。關於mydumper的安裝與使用可以參考之前的博文：MySQL Backup mydumper。

檢視myloader的版本資訊：

# myloader -V
myloader 0.9.5, built against MySQL 5.7.21-21
回到頂部

主要選項

# myloader --help
Usage:
  myloader [OPTION?] multi-threaded MySQL loader

Help
 
 Options:
  -?, --help                        Show help options

Application Options:
  -d, --directory                   Directory of the dump to import
  -q, --queries-per-transaction     Number of queries per transaction, default 1000
  -o, --overwrite-tables            Drop tables if they already exist
 

  -B, --database                    An alternative database to restore into
  -s, --source-db                   Database to restore
  -e, --enable-binlog               Enable binary logging of the restore data
  -h, --host                        The host to connect to
  -u, --user                        Username with the necessary privileges
 

  -p, --password                    User password
  -a, --ask-password                Prompt For User password
  -P, --port                        TCP/IP port to connect to
  -S, --socket                      UNIX domain socket file to use for connection
  -t, --threads                     Number of threads to use, default 4
  -C, --compress-protocol           Use compression on the MySQL connection
  -V, --version                     Show the program version and exit
  -v, --verbose                     Verbosity of output, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2
  --defaults-file                   Use a specific defaults file

  • -d, --directory
    要import的備份檔案所在目錄

  • -q, --queries-per-transaction
    每個事務的查詢數, 預設為1000

  • -o, --overwrite-tables
    如果表存在則刪除表

  • -B, --database
    指定需要還原成的資料庫名

  • -s, --source-db
    指定還原的源資料庫

  • -e, --enable-binlog
    還原資料時記錄binlog日誌

  • -h, --host
    指定連線host

  • -u, --user
    指定連線使用者，需有相應的許可權

  • -p, --password
    指定使用者密碼

  • -a, --ask-password
    指定使用者密碼提示輸入

  • -P, --port
    指定連線port

  • -S, --socket
    指定本地socket檔案連線

  • -t, --threads
    指定dump執行緒數, 預設是4

  • -C, --compress-protocol
    在mysql連線時使用壓縮協議

  • -V, --version
    顯示程式版本並退出

  • -v, --verbose
    顯示更詳細的輸出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 預設是2

  • --defaults-file
    指定預設引數檔案

回到頂部

還原流程

前期準備工作與mydumper一致，可參考mydumper備份流程MySQL Backup mydumper 備份流程。

  • 備份全庫
# mydumper -h 192.168.58.3 -u admin -a -P 3306 -t 8 -e -o /data/test/
  • 檢視test2庫資訊
(root@localhost) [(none)] > use test2;
Database changed

(root@localhost) [test2] > show tables;
+-----------------+
| Tables_in_test2 |
+-----------------+
| t1              |
+-----------------+
1 row in set (0.00 sec)

(root@localhost) [test2] > select * from t1;
+----+----------+
| id | title    |
+----+----------+
|  1 | mydumper |
|  2 | myloader |
+----+----------+
2 rows in set (0.00 sec)
  • 刪除test2庫
(root@localhost) [(none)] > show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test1              |
| test2              |
+--------------------+
6 rows in set (0.01 sec)

(root@localhost) [(none)] > drop database test2;
Query OK, 4 rows affected (0.16 sec)

(root@localhost) [(none)] > show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test1              |
+--------------------+
5 rows in set (0.01 sec)
  • 還原備份裡test2庫成test3庫
# myloader -h 192.168.58.3 -u admin -a -P 3306 -s test2 -B test3 -d /data/test/
  • 檢視general log
-- 主執行緒連線資料庫，設定臨時session級別引數，預設匯入資料時不記錄binlog
 264 Connect   admin@dbabd on  using TCP/IP
 264 Query     SET SESSION wait_timeout = 2147483
 264 Query     SET SQL_LOG_BIN=0
 264 Query     /*!40014 SET FOREIGN_KEY_CHECKS=0*/

-- 產生了4個子程序，設定會話級引數，預設不記錄binlog，關閉自動提交
 265 Connect   admin@dbabd on  using TCP/IP
 265 Query     SET SESSION wait_timeout = 2147483
 265 Query     SET SQL_LOG_BIN=0
 265 Query     /*!40101 SET NAMES binary*/
 265 Query     /*!40101 SET SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */
 265 Query     /*!40014 SET UNIQUE_CHECKS=0 */
 265 Query     SET autocommit=0

 266 Connect   admin@dbabd on  using TCP/IP
 266 Query     SET SESSION wait_timeout = 2147483
 266 Query     SET SQL_LOG_BIN=0
 266 Query     /*!40101 SET NAMES binary*/
 266 Query     /*!40101 SET SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */
 266 Query     /*!40014 SET UNIQUE_CHECKS=0 */
 266 Query     SET autocommit=0
 
 267 Connect   admin@dbabd on  using TCP/IP
 267 Query     SET SESSION wait_timeout = 2147483
 267 Query     SET SQL_LOG_BIN=0
 267 Query     /*!40101 SET NAMES binary*/
 267 Query     /*!40101 SET SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */
 267 Query     /*!40014 SET UNIQUE_CHECKS=0 */
 267 Query     SET autocommit=0
 
 268 Connect   admin@dbabd on  using TCP/IP
 268 Query     SET SESSION wait_timeout = 2147483
 268 Query     SET SQL_LOG_BIN=0
 268 Query     /*!40101 SET NAMES binary*/
 268 Query     /*!40101 SET SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */
 268 Query     /*!40014 SET UNIQUE_CHECKS=0 */
 268 Query     SET autocommit=0
 
-- 主執行緒建立還原資料庫和表
 264 Query     SHOW CREATE DATABASE `test3`
 264 Query     CREATE DATABASE `test3`
 264 Query     USE `test3`
 264 Query     /*!40101 SET NAMES binary*/
 264 Query     /*!40014 SET FOREIGN_KEY_CHECKS=0*/
 264 Query     /*!40103 SET TIME_ZONE='+00:00' */
 264 Query     CREATE TABLE `t1` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `title` varchar(10) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8

-- 子執行緒插入表資料
 265 Query     USE `test3`
 266 Quit
 265 Query     START TRANSACTION
 267 Quit
 265 Query     /*!40101 SET NAMES binary*/
 265 Query     /*!40014 SET FOREIGN_KEY_CHECKS=0*/
 265 Query     /*!40103 SET TIME_ZONE='+00:00' */
 268 Quit
 265 Query     INSERT INTO `t1` VALUES
(1,"mydumper"),
(2,"myloader")
 265 Query     COMMIT
 265 Quit
 264 Quit

總結下myloader的工作流程：

  • 主執行緒連線MySQL，根據指定選項設定會話級引數；
  • 建立多個子執行緒(預設4個)，設定會話級引數，關閉自動提交；
  • 主執行緒建立庫和表；
  • 子執行緒插入表資料；
  • (如有)主執行緒建立函式、儲存過程、觸發器和檢視；
  • import過程結束。
回到頂部

用法示例

  • 還原單個庫
# myloader -h 192.168.58.3 -u admin -a -P 3306 -s test1 -o -v 3 -d /data/test/
  • 還原庫並重命名
# myloader -h 192.168.58.3 -u admin -a -P 3306 -s test1 -B test1_bak -o -v 3 -d /data/test/
  • 指定還原子執行緒數
# myloader -h 192.168.58.3 -u admin -a -P 3306 -s test1 -o -v 3 -t 8 -d /data/test/

很遺憾myloader沒有針對單表或都多表的還原操作命令，有一種方法是通過mydumper將個別大表進行指定chunk大小切割備份，並將每張表單獨目錄存放備份資料，必須是每張表的資料單獨放在一個目錄中，目錄中只包含一張表的資訊代表著還原時只須還原這一張表，避免影響相同庫下其他的表資料，因為myloader只能指定庫級別的引數選項，這樣就可以間接使用到myloader多執行緒還原功能，加快還原單錶速度。

以下做個測試：

-- test1.t3表有100萬行
(root@localhost) [test1] > select count(*) from t3;
+----------+
| count(*) |
+----------+
|  1000000 |
+----------+
1 row in set (0.00 sec)

-- mydumper備份test1.t3，指定chunk大小為3M
# mydumper -h 192.168.58.3 -u admin -a -P 3306 -B test1 -T t3 -F 2 -e -o /data/test/

-- 刪除test1.t3表
(root@localhost) [test1] > drop table t3;
Query OK, 0 rows affected (0.04 sec)

(root@localhost) [test1] > select * from t3;
Empty set (0.00 sec)

-- myloader還原test1.t3
# myloader -h 192.168.58.3 -u admin -a -P 3306 -s test1 -o -v 3 -d /data/test/

** Message: 4 threads created
** Message: Dropping table or view (if exists) `test1`.`t3`
** Message: Creating table `test1`.`t3`
** Message: Thread 1 restoring `test1`.`t3` part 1
** Message: Thread 4 restoring `test1`.`t3` part 3
** Message: Thread 2 restoring `test1`.`t3` part 4
** Message: Thread 3 restoring `test1`.`t3` part 2
** Message: Thread 2 restoring `test1`.`t3` part 5
** Message: Thread 3 restoring `test1`.`t3` part 6
** Message: Thread 4 restoring `test1`.`t3` part 7
** Message: Thread 1 shutting down
** Message: Thread 4 shutting down
** Message: Thread 2 shutting down
** Message: Thread 3 shutting down

(root@localhost) [test1] > select count(*) from t3;
+----------+
| count(*) |
+----------+
|  1000000 |
+----------+
1 row in set (0.00 sec)

由以上結果可見，還原使用到了多執行緒，提高了還原的效率。

回到頂部

參考

☆〖本人水平有限，文中如有錯誤還請留言批評指正！〗☆

相關推薦

MySQL Backup myloader--轉發

目錄 主要選項 還原流程 用法示例 參考 正文 之前的博文當中提到備份工具mydumper的使用，而軟體包中還包含了與之對應的恢復工具myloader，本文就總結下myloader的用法。關於mydumper的安裝與使用可以參考之

MySQL Backup mydumper--轉發

目錄 安裝 主要選項 備份流程 用法示例 參考 正文 生產環境中有一例項每天使用mysqldump備份時長達到了2個小時53分鐘，接近3個小時，還不算上備份檔案歸檔的時間，這個時間對於邏輯備份來說有點久。為了提高

MySQL Backup mysqldump備份流程學習--轉發

目錄 前期準備 開啟general log mysqldump執行全庫備份 分析general log日誌 開頭部分 備份部分

Navicat備份MySQL資料庫報錯:Failed to start backup service!

一、遇到的問題 使用Navicat資料庫中的備份功能時候，總是會出現如下的問題。之前使用MySQL的workbench時匯出sql指令碼也出現過這個問題。

springboot+mysql實現quartz叢集搭建(轉發)

springboot+mysql實現quartz叢集搭建 一、基本概念 Quartz核心的概念：scheduler任務排程、Job任務、Trigger觸發器、JobDetail任務細節。

Oracle 11g R2 Backup Data Pump(資料泵)之expdp/impdp工具--轉發

目錄 主要說明 環境準備 expdp工具 工作方式 命令說明 匯出模式 用法示例 impdp工具 工作方式

MySQL SQL Explain輸出學習--轉發

目錄 主要用法 測試資料 輸出說明 id select_type table partitions type possible_keys key key_len ref rows

MySQL InnoDB Online DDL學習--轉發

目錄 主要說明 Online DDL選項 Online DDL型別 索引操作 欄位操作 組合欄位操作 主鍵操作

MySQL Tools 之 mysql.server 指令碼運用--轉發

目錄 主要用法 自定義 1、新增basedir、datadir和config配置 2、指定mysqld的PID檔案 3、註釋解析預設引數檔案方法

nginx stream 流轉發，可以轉發rtmp、mysql訪問流，轉發rtmp、jdbc請求

wegt https://github.com/arut/nginx-rtmp-module/archive/master.zip 下載之後解壓 unzip master.zip 安裝nginx

iOS的OC的方法的決議與訊息轉發原理

前言 筆者整理了一系列有關OC的底層文章，希望可以幫助到你。 1.iOS的OC物件建立的alloc原理

推薦收藏 —— MySQL檢視詳細介紹

前言：  在MySQL中，檢視可能是我們最常用的資料庫物件之一了。那麼你知道檢視和表的區別嗎？你知道建立及使用檢視要注意哪些點嗎？可能很多人對檢視只是一知半解，想詳細瞭解檢視的同學看過來喲，本篇文章會詳細介

Mysql 運維

環境：CentOS7 版本： 1. 部署 本文僅介紹 rpm 安裝方式 1.1. 安裝 mysql yum 源 官方下載地址：https://dev.mysql.com/downloads/repo/yum/

清空認知，然後重新理解MySQL索引結構

前言 Hello我又來了，快年底了，作為一個有抱負的碼農，我想給自己攢一個年終總結。自上上篇寫了手動搭建Redis叢集和MySQL主從同步(非Docker)和上篇寫了動手實現MySQL讀寫分離and故障轉移之後，索性這次把資料庫中最

手把手教你MySQL查詢優化分析

前言 MySQL是關係性資料庫中的一種，查詢功能強，資料一致性高，資料安全性高，支援二級索引。但效能方面稍遜於非關係性資料庫，特別是百萬級別以上的資料，很容易出現查詢慢的現象。這時候需要分析查詢慢的原因，一

記錄一次實踐 MySQL 主從資料庫

前言 之前一直在研究 MySQL 複製問題，所以最近就想動動手將 MySQL 的主從伺服器搭一下。MySQL 主從複製是指資料可以從一個MySQL資料庫伺服器主節點複製到一個或多個從節點。MySQL 預設採用非同步複製方式，這樣從節

MySQL INNODB鎖分析心得

場景重現 有一個多門店點餐系統，點餐就是個下訂單的過程，資料庫設計上是一個訂單表儲存了所有店鋪的訂單資訊，則有一個order表，並且每條記錄都會關聯business_id

MySQL 優化實施方案

1.1 前言   在進行MySQL的優化之前必須要了解的就是MySQL的查詢過程，很多的查詢優化工作實際上就是遵循一些原則讓MySQL的優化器能夠按照預想的合理方式執行而已。

AOP實現mysql的主從資料庫：讀寫分離

1.問題 首先，為什麼會碰到這樣的問題？ 昨天寫的一個業務上線了，但是在dev環境和test環境都能跑，但是到了線上環境發生資料不能插入的問題。

併發讀寫資料一致性保證（二）-MySQL

業務開發過程，其實就是使用者業務資料的處理過程，因而開發的核心任務就是維護資料一致不出錯。現實場景中，多個使用者會併發讀寫同一份資料（如秒殺），不加控制會翻車、加了控制則降低併發度，影響效能和使用者體