1. 程式人生 > >mysqldump備份(全量+增量)方案操作記錄

mysqldump備份(全量+增量)方案操作記錄

在日常運維工作中,對mysql資料庫的備份是萬分重要的,以防在資料庫表丟失或損壞情況出現,可以及時恢復資料。

線上資料庫備份場景:
每週日執行一次全量備份,然後每天下午1點執行MySQLdump增量備份.

下面對這種備份方案詳細說明下:
1.MySQLdump增量備份配置
執行增量備份的前提條件是MySQL開啟binlog日誌功能,在my.cnf中加入
log-bin=/opt/Data/MySQL-bin
“log-bin=”後的字串為日誌記載目錄,一般建議放在不同於MySQL資料目錄的磁碟上。

1 2 3 4 5 6 7 8 9 -----------------------------------------------------------------------------------
mysqldump >       匯出資料 mysql <           匯入資料  (或者使用source命令匯入資料,匯入前要先切換到對應庫下) 注意一個細節: 若是mysqldump匯出一個庫的資料,匯出檔案為a.sql,然後mysql匯入這個資料到新的空庫下。 如果新庫名和老庫名不一致,那麼需要將a.sql檔案裡的老庫名改為新庫名, 這樣才能順利使用mysql命令匯入資料(如果使用source命令匯入就不需要修改a.sql檔案了)。 -----------------------------------------------------------------------------------

2.MySQLdump增量備份
假定星期日下午1點執行全量備份,適用於MyISAM儲存引擎。
[[email protected] ~]# MySQLdump --lock-all-tables --flush-logs --master-data=2 -u root -p test > backup_sunday_1_PM.sql

對於InnoDB將--lock-all-tables替換為--single-transaction
--flush-logs為結束當前日誌,生成新日誌檔案;
--master-data=2 選項將會在輸出SQL中記錄下完全備份後新日誌檔案的名稱,

用於日後恢復時參考,例如輸出的備份SQL檔案中含有:
CHANGE MASTER TO MASTER_LOG_FILE=’MySQL-bin.000002′, MASTER_LOG_POS=106;

3.MySQLdump增量備份其他說明:
如果MySQLdump加上–delete-master-logs 則清除以前的日誌,以釋放空間。但是如果伺服器配置為映象的複製主伺服器,用MySQLdump –delete-master-logs刪掉MySQL二進位制日誌很危險,因為從伺服器可能還沒有完全處理該二進位制日誌的內容。在這種情況下,使用 PURGE MASTER LOGS更為安全。

每日定時使用 MySQLadmin flush-logs來建立新日誌,並結束前一日誌寫入過程。並把前一日誌備份,例如上例中開始儲存資料目錄下的日誌檔案 MySQL-bin.000002 , ...

1.恢復完全備份
mysql -u root -p < backup_sunday_1_PM.sql

2.恢復增量備份
mysqlbinlog MySQL-bin.000002 … | MySQL -u root -p注意此次恢復過程亦會寫入日誌檔案,如果資料量很大,建議先關閉日誌功能

--compatible=name
它告訴 MySQLdump,匯出的資料將和哪種資料庫或哪個舊版本的 MySQL 伺服器相相容。值可以為 ansi、MySQL323、MySQL40、postgresql、oracle、mssql、db2、maxdb、no_key_options、no_tables_options、no_field_options 等,要使用幾個值,用逗號將它們隔開。當然了,它並不保證能完全相容,而是儘量相容。

--complete-insert,-c
匯出的資料採用包含欄位名的完整 INSERT 方式,也就是把所有的值都寫在一行。這麼做能提高插入效率,但是可能會受到 max_allowed_packet 引數的影響而導致插入失敗。因此,需要謹慎使用該引數,至少我不推薦。

--default-character-set=charset
指定匯出資料時採用何種字符集,如果資料表不是採用預設的 latin1 字符集的話,那麼匯出時必須指定該選項,否則再次匯入資料後將產生亂碼問題。

--disable-keys
告訴 MySQLdump 在 INSERT 語句的開頭和結尾增加 /*!40000 ALTER TABLE table DISABLE KEYS */; 和 /*!40000 ALTER TABLE table ENABLE KEYS */; 語句,這能大大提高插入語句的速度,因為它是在插入完所有資料後才重建索引的。該選項只適合 MyISAM 表。

--extended-insert = true|false
預設情況下,MySQLdump 開啟 --complete-insert 模式,因此不想用它的的話,就使用本選項,設定它的值為 false 即可。

--hex-blob
使用十六進位制格式匯出二進位制字串欄位。如果有二進位制資料就必須使用本選項。影響到的欄位型別有 BINARY、VARBINARY、BLOB。

--lock-all-tables,-x
在開始匯出之前,提交請求鎖定所有資料庫中的所有表,以保證資料的一致性。這是一個全域性讀鎖,並且自動關閉 --single-transaction 和 --lock-tables 選項。

--lock-tables
它和 --lock-all-tables 類似,不過是鎖定當前匯出的資料表,而不是一下子鎖定全部庫下的表。本選項只適用於 MyISAM 表,如果是 Innodb 表可以用 --single-transaction 選項。

--no-create-info,-t
只匯出資料,而不新增 CREATE TABLE 語句。

--no-data,-d
不匯出任何資料,只匯出資料庫表結構。
mysqldump --no-data --databases mydatabase1 mydatabase2 mydatabase3 > test.dump
將只備份表結構。--databases指示主機上要備份的資料庫。

--opt
這只是一個快捷選項,等同於同時新增 --add-drop-tables --add-locking --create-option --disable-keys --extended-insert --lock-tables --quick --set-charset 選項。本選項能讓 MySQLdump 很快的匯出資料,並且匯出的資料能很快導回。該選項預設開啟,但可以用 --skip-opt 禁用。注意,如果執行 MySQLdump 沒有指定 --quick 或 --opt 選項,則會將整個結果集放在記憶體中。如果匯出大資料庫的話可能會出現問題。

--quick,-q
該選項在匯出大表時很有用,它強制 MySQLdump 從伺服器查詢取得記錄直接輸出而不是取得所有記錄後將它們快取到記憶體中。

--routines,-R
匯出儲存過程以及自定義函式。

--single-transaction
該選項在匯出資料之前提交一個 BEGIN SQL語句,BEGIN 不會阻塞任何應用程式且能保證匯出時資料庫的一致性狀態。它只適用於事務表,例如 InnoDB 和 BDB。本選項和 --lock-tables 選項是互斥的,因為 LOCK TABLES 會使任何掛起的事務隱含提交。要想匯出大表的話,應結合使用 --quick 選項。

--triggers
同時匯出觸發器。該選項預設啟用,用 --skip-triggers 禁用它。

跨主機備份
使用下面的命令可以將host1上的sourceDb複製到host2的targetDb,前提是host2主機上已經建立targetDb資料庫:
-C 指示主機間的資料傳輸使用資料壓縮
mysqldump --host=host1 --opt sourceDb| mysql --host=host2 -C targetDb

結合Linux的cron命令實現定時備份
比如需要在每天凌晨1:30備份某個主機上的所有資料庫並壓縮dump檔案為gz格式
30 1 * * * mysqldump -u root -pPASSWORD --all-databases | gzip > /mnt/disk2/database_`date '+%m-%d-%Y'`.sql.gz

一個完整的Shell指令碼備份MySQL資料庫示例。比如備份資料庫opspc
[[email protected] ~]# vim /root/backup.sh
#!bin/bash
echo "Begin backup mysql database"
mysqldump -u root -ppassword opspc > /home/backup/mysqlbackup-`date +%Y-%m-%d`.sql
echo "Your database backup successfully completed"

[[email protected] ~]# crontab -e
30 1 * * * /bin/bash -x /root/backup.sh > /dev/null 2>&1

mysqldump全量備份+mysqlbinlog二進位制日誌增量備份
1)從mysqldump備份檔案恢復資料會丟失掉從備份點開始的更新資料,所以還需要結合mysqlbinlog二進位制日誌增量備份。
首先確保已開啟binlog日誌功能。在my.cnf中包含下面的配置以啟用二進位制日誌:
[mysqld]
log-bin=mysql-bin

2)mysqldump命令必須帶上--flush-logs選項以生成新的二進位制日誌檔案:
mysqldump --single-transaction --flush-logs --master-data=2 > backup.sql
其中引數--master-data=[0|1|2]
0: 不記錄
1:記錄為CHANGE MASTER語句
2:記錄為註釋的CHANGE MASTER語句

--------------------------------------------------------------------------
下面分享一下自己用過的mysqldump全量和增量備份指令碼

應用場景:
1)增量備份在週一到週六凌晨3點,會複製mysql-bin.00000*到指定目錄;
2)全量備份則使用mysqldump將所有的資料庫匯出,每週日凌晨3點執行,並會刪除上週留下的mysq-bin.00000*,然後對mysql的備份操作會保留在bak.log檔案中。

指令碼實現:
1)全量備份指令碼(假設mysql登入密碼為123456;注意指令碼中的命令路徑):
[[email protected] ~]# vim /root/Mysql-FullyBak.sh
#!/bin/bash
# Program
# use mysqldump to Fully backup mysql data per week!
# History
# Path
BakDir=/home/mysql/backup
LogFile=/home/mysql/backup/bak.log
Date=`date +%Y%m%d`
Begin=`date +"%Y年%m月%d日 %H:%M:%S"`
cd $BakDir
DumpFile=$Date.sql
GZDumpFile=$Date.sql.tgz
/usr/local/mysql/bin/mysqldump -uroot -p123456 --quick --events --all-databases --flush-logs --delete-master-logs --single-transaction > $DumpFile
/bin/tar -zvcf $GZDumpFile $DumpFile
/bin/rm $DumpFile
Last=`date +"%Y年%m月%d日 %H:%M:%S"`
echo 開始:$Begin 結束:$Last $GZDumpFile succ >> $LogFile
cd $BakDir/daily
/bin/rm -f *

2)增量備份指令碼(指令碼中mysql的資料存放路徑是/home/mysql/data,具體根據自己的實際情況進行調整)
[[email protected] ~]# vim /root/Mysql-DailyBak.sh
#!/bin/bash
# Program
# use cp to backup mysql data everyday!
# History
# Path
BakDir=/home/mysql/backup/daily                     //增量備份時複製mysql-bin.00000*的目標目錄,提前手動建立這個目錄
BinDir=/home/mysql/data                                   //mysql的資料目錄
LogFile=/home/mysql/backup/bak.log
BinFile=/home/mysql/data/mysql-bin.index           //mysql的index檔案路徑,放在資料目錄下的
/usr/local/mysql/bin/mysqladmin -uroot -p123456 flush-logs
#這個是用於產生新的mysql-bin.00000*檔案
Counter=`wc -l $BinFile |awk '{print $1}'`
NextNum=0
#這個for迴圈用於比對$Counter,$NextNum這兩個值來確定檔案是不是存在或最新的
for file in `cat $BinFile`
do
    base=`basename $file`
    #basename用於擷取mysql-bin.00000*檔名,去掉./mysql-bin.000005前面的./
    NextNum=`expr $NextNum + 1`
    if [ $NextNum -eq $Counter ]
    then
        echo $base skip! >> $LogFile
    else
        dest=$BakDir/$base
        if(test -e $dest)
        #test -e用於檢測目標檔案是否存在,存在就寫exist!到$LogFile去
        then
            echo $base exist! >> $LogFile
        else
            cp $BinDir/$base $BakDir
            echo $base copying >> $LogFile
         fi
     fi
done
echo `date +"%Y年%m月%d日 %H:%M:%S"` $Next Bakup succ! >> $LogFile

3)設定crontab任務,執行備份指令碼。先執行的是增量備份指令碼,然後執行的是全量備份指令碼:
[[email protected] ~]# crontab -e
#每個星期日凌晨3:00執行完全備份指令碼
0 3 * * 0 /bin/bash -x /root/Mysql-FullyBak.sh >/dev/null 2>&1
#週一到週六凌晨3:00做增量備份
0 3 * * 1-6 /bin/bash -x /root/Mysql-DailyBak.sh >/dev/null 2>&1

4)手動執行上面兩個指令碼,測試下備份效果
[[email protected] backup]# pwd
/home/mysql/backup
[[email protected] backup]# mkdir daily
[[email protected] backup]# ll
total 4
drwxr-xr-x. 2 root root 4096 Nov 29 11:29 daily
[[email protected] backup]# ll daily/
total 0

先執行增量備份指令碼
[[email protected] backup]# sh /root/Mysql-DailyBak.sh 
[[email protected] backup]# ll
total 8
-rw-r--r--. 1 root root 121 Nov 29 11:29 bak.log
drwxr-xr-x. 2 root root 4096 Nov 29 11:29 daily
[[email protected] backup]# ll daily/
total 8
-rw-r-----. 1 root root 152 Nov 29 11:29 mysql-binlog.000030
-rw-r-----. 1 root root 152 Nov 29 11:29 mysql-binlog.000031
[[email protected] backup]# cat bak.log 
mysql-binlog.000030 copying
mysql-binlog.000031 copying
mysql-binlog.000032 skip!
2016年11月29日 11:29:32 Bakup succ!

然後執行全量備份指令碼
[[email protected] backup]# sh /root/Mysql-FullyBak.sh 
20161129.sql
[[email protected] backup]# ll
total 152
-rw-r--r--. 1 root root 145742 Nov 29 11:30 20161129.sql.tgz
-rw-r--r--. 1 root root 211 Nov 29 11:30 bak.log
drwxr-xr-x. 2 root root 4096 Nov 29 11:30 daily
[[email protected] backup]# ll daily/
total 0
[[email protected] backup]# cat bak.log 
mysql-binlog.000030 copying
mysql-binlog.000031 copying
mysql-binlog.000032 skip!
2016年11月29日 11:29:32 Bakup succ!
開始:2016年11月29日 11:30:38 結束:2016年11月29日 11:30:38 20161129.sql.tgz succ

相關推薦

mysqldump備份+增量方案操作記錄

在日常運維工作中,對mysql資料庫的備份是萬分重要的,以防在資料庫表丟失或損壞情況出現,可以及時恢復資料。 線上資料庫備份場景:每週日執行一次全量備份,然後每天下午1點執行MySQLdump增量備份. 下面對這種備份方案詳細說明下:1.MySQLdump增量備份配置

Mysql備份+增量+恢復方案操作記錄

1、開啟mysql的binlog日誌&檢視$備份 2、shell指令碼 mysqldump 變數說明 --all-databases針對所有資料庫進行備份  --databases databasename 針對單個數據庫進行備份 --flush-logs為結束當前

MySQL自動化+增量備份指令碼

文章轉自:http://www.it-hack.cn/forum.php?mod=viewthread&tid=220&extra=page%3D1一、MySQL的日常備份方案:全備+增量備份:1、週日凌晨三點進行全備;2、週一到週日增量備份。不是往常的週日全備份,週一到週六增量備份,這樣如果

Mysql備份系列3--innobackupex備份mysql大資料(+增量操作記錄

    在日常的linux運維工作中,大資料量備份與還原,始終是個難點。關於mysql的備份和恢復,比較傳統的是用mysqldump工具,今天這裡推薦另一個備份工具innobackupex。innobackupex和mysqldump都可以對mysql進行熱備份的,mys

MySQL定時備份備份+增量備份

參考 zone7_ 的 實戰-MySQL定時備份系列文章 說明 產品上線後,資料非常非常重要,萬一哪天資料被誤刪,那麼就gg了,準備跑路吧。 所以要對線上的資料庫定時做全量備份和增量備份。 增量備份的優點是沒有重複資料,備份量不大,時間短。但缺點也很明顯,需要建立在上次完全備份及完全備份之後所有的增量才

mysql自動備份

備份環境:Linux 3.10.0-862.e17.x86_64 Mysql版本:5.7.0 本次備份使用crontab 定時執行備份指令碼方法,備份指令碼使用mysql 的mysqldump進行備份; 具體方法如下: 編寫備份指令碼: #!/bin/bash MY_USER="

lvm-snapshot備份mysql資料(+增量

lvm-snapshot:基於LVM快照的備份 1.關於快照: 1)事務日誌跟資料檔案必須在同一個捲上; 2)剛剛創立的快照卷,裡面沒有任何資料,所有資料均來源於原卷 3)一旦原卷資料發生修改,修改的資料將複製到快照卷中,此時訪問資料一部分來自於快照卷,一部分來自於原卷 4)當快照使用過程中,如果修

MySQL 資料庫備份和恢復探討mysqldump增量mysqlbinlog

背景介紹: 在開發、測試以及生產環境中,每次修改MySQL資料庫,嚴格上來說,都應該事先備份資料庫,以便修改錯誤後導致資料庫掛掉或者不能用,能夠及時還原為修改前的資料庫;另外,在實際使用中也可能因為不正確的使用MySQL資料庫,導致資料庫不可用。因此,做好MySQL資料庫的備份和恢復具有重要的意

mysqldump 定時備份數據

off quick tar innodb 引擎 -a 管理工具 -1 l數據庫 MYSQL 數據庫備份有很多種(cp、tar、lvm2、mysqldump、xtarbackup)等等,具體使用哪一個還要看你的數據規模。下面給出一個表 #摘自《學會用各種姿態備份Mysql

關於Subversion主從備份方式的調整增量腳本更新

關於 是否 incr times ext style 否則 ges sla 本文引用於http://blog.chinaunix.net/uid-25266990-id-3369172.html 之前對Subversion服務器作了遷移,關於SVN的架構也走了調整,有單一的

[MySQL] innobackupex線上備份及恢復增量

Xtrabackup是由percona開發的一個開源軟體,它是innodb熱備工具ibbackup(收費的商業軟體)的一個開源替代品。Xtrabackup由個部分組成:xtrabackup和innobackupex,其中xtrabackup工具用於備份innodb和 xtr

Xtrabackup 備份大資料庫備份增量備份

Xtrabackup Xtrabackup是由percona開源的免費資料庫熱備份軟體,它能對InnoDB資料庫和XtraDB儲存引擎的資料庫非阻塞地備份(對於MyISAM的備份同樣需要加表鎖);mysqldump備份方式是採用的邏輯備份,其最大的缺陷是備份和恢復速度較

svn備份指令碼備份增量備份

前段時間發現內網伺服器的備份目錄越來大,感覺有點不對勁,原來是備份指令碼有問題,遂重新寫了一下備份指令碼,並分為全量備份和增量備份。 一、增量備份指令碼 #!/bin/bash #svn 增量備份指令碼 repos_path="/home/svn/repos" repos=

Elasticsearch使用Logstash-input-jdbc同步mysql資料增量

作者:camelcanoe 來源:CSDN 原文:https://blog.csdn.net/camelcanoe/article/details/79759376 版權宣告:本文為博主原創文章,轉載請附上博文連結! 專案中用到elasticsearch,初始化資料時時寫的程式從資

Others-大資料平臺Lambda架構淺析計算+增量計算

大資料平臺Lambda架構淺析(全量計算+增量計算) 2016年12月23日 22:50:53 scuter_victor 閱讀數:1642 標籤: spark大資料lambda 更多

Elasticsearch使用Logstash-input-jdbc同步mysql資料增量windows

專案中用到elasticsearch,初始化資料時時寫的程式從資料庫裡面查詢出來,然後多執行緒往elasticsearch裡面寫入的。今天試了一下Logstash-input-jdbc外掛,發現高效又方便,而且可以設定定時任務。1、安裝外掛在logstash的bin目錄下執行

阿里雲RDSmysql異機增量恢復

使用阿里雲的RDS服務(也就是MySQL資料庫)時,有時需要將其資料取出後拿到別的機器上使用,這就需要進行RDS的異機恢復。 說明:本文恢復使用的機器環境為CentOS 6.5 x64。 1. 獲取備份下載地址 RDS控制檯 -> 備份恢復 -> 資

xtrabackup壓縮備份多執行緒備份lz4,pigz詳解

常用備份: 目前較新的:percona-xtrabackup-2.4.11-1.el6.x86_64.rpm 配置percona的yum源。 yum install epel-release yum install libev qpress yum install perl

xtrabackup,增量備份指令碼(拿走即用)

#!/bin/sh # add ling INNOBACKUPEX=innobackupex INNOBACKUPEXFULL=/usr/bin/$INNOBACKUPEX TODAY=`date +%Y%m%d%H%M` USEROPTIONS="--user=user --password=1234

MySQL資料庫之+增量+二進位制日誌的備份與恢復

一、簡介資料的備份與恢復 1、為什麼備份? 災難恢復:人為錯誤、硬體故障(冗餘)、軟體故障(bug)、自然災害、黑客攻擊、誤操作、…; 測試; 2、備份時應該注意些什麼? 能容忍最多丟失多少資料; 恢復資料需要在多長時間內完成; 需要恢復哪些資料;