1. 程式人生 > >rsync 資料備份+cron+mailx案例

rsync 資料備份+cron+mailx案例

大家都知道資料非常重要的,需要經常備份,如果備份了,但無法恢復還原,那就證明你備份的很失敗,所有當我們備份了資料需要檢查是否備份完整,是否可用可恢復。以下為一個企業案例:

 

某公司裡有一臺Web伺服器,裡面的資料很重要,但是如果硬碟壞了,資料就會丟失,現在領導要求你把資料在其他機器上做一個週期性定時備份。要求如下:

每天晚上00點整在web伺服器上打包備份系統配置檔案、網站主程式及訪問日誌,並通過rsync命令推送到伺服器上備份保留(備份思路可以是在本地按日期打包,然後再推送到備份伺服器上)

具體要求如下:

1、web伺服器和備份伺服器的備份目錄必須為/backup。

2、系統配置檔案包括:

  a) 定時任務服務的配置檔案(/var/spool/cron/root)

  b) 開機自啟動的配置檔案(/etc/rc.local)

  c) 日常指令碼的目錄(/server/scripts)

  d) 防火牆iptables的配置檔案(/etc/sysconfig/iptables)

3、web伺服器站點目錄假定位(var/www/html)。

4、web伺服器本地僅保留7天內的備份資料。

5、備份伺服器上/backup/下僅保留180天的資料,180天前的清除。

6、備份伺服器上檢查每天從web伺服器上備份的資料結果是否正常,並將每天的備份結果23點整發給管理員郵箱。

具體規劃配置如下:

web伺服器IP:192.168.43.119     備份(backup)伺服器IP:192.168.43.200

第一步:備份伺服器上部署rsync服務,並且在web伺服器上測試是否可以推送成功。

服務端配置:(backup)

[[email protected] /]# vi /etc/rsyncd.conf

[[email protected] /]# cat /etc/rsyncd.conf

#sync server

#created by bqh

##rsyncd.conf start##

uid = rsync

gid = rsync

use chroot = no

max connections = 2000

timeout = 600

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

ignore errors

read only = false

list = false

hosts allow = 192.168.43.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

##############################################

[backup]

comment = www.bqh.com 

path = /backup

[[email protected] /]# useradd rsync -s /sbin/nologin -M

[[email protected] /]# id rsync

uid=501(rsync) gid=501(rsync) 組=501(rsync)

[[email protected] /]# mkdir -p /backup

[[email protected] /]# chown -R rsync /backup

[[email protected] /]# echo "rsync_backup:123" >/etc/rsync.password

[[email protected] /]# chmod 600 /etc/rsync.password

[[email protected] /]# rsync --daemon

[[email protected] /]# ps -ef|grep rsync|grep -v grep

root       1766      1  0 21:10 ?        00:00:00 rsync --daemon

[[email protected] /]# lsof -i :873

COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME

rsync   1766 root    3u  IPv4  17093      0t0  TCP *:rsync (LISTEN)

rsync   1766 root    5u  IPv6  17094      0t0  TCP *:rsync (LISTEN)

[[email protected] /]#

客戶端配置: ( web伺服器端)

[[email protected] /]# mkdir /backup

[[email protected] /]# touch /backup/1.txt

[[email protected] /]# echo "123" >/etc/rsync.password

[[email protected] /]# chmod 600 /etc/rsync.password

[[email protected] /]# rsync -avz /backup/1.txt [email protected]::backup --password-fi

le=/etc/rsync.password

sending incremental file list

1.txt

 

sent 62 bytes  received 27 bytes  178.00 bytes/sec

total size is 0  speedup is 0.00

[[email protected] /]#

在備份伺服器上檢視是否推送成功:

第二步:web伺服器本地實現打包:(配置檔案,程式,日誌分開打包)

tar zcvf /backup/conf_$(date +%F).tar.gz /var/spool/cron/root /etc/rc.local /etc/sysconfig/iptables /server/scripts

tar zcvf /backup/www_$(date +%F).tar.gz /var/html/www/

tar zcvf /backup/log_$(date +%F).tar.gz /app/logs/

我們可以寫一個備份推送指令碼backup.sh

#!/bin/sh

#defined variable

IP=$(ifconfig eth0|awk -F '[ :]+' 'NR==2 {print $4}')

Path="/backup/$IP"

[ ! -d $Path ] && mkdir $Path -p

#backup

tar zcf $Path/conf_$(date +%F).tar.gz /var/spool/cron/root /etc/rc.local /etc/sysconfig/ipt

ables /server/scriptstar zcf $Path/www_$(date +%F).tar.gz /var/html/www/

tar zcf $Path/log_$(date +%F).tar.gz /app/logs/

#to backup server

rsync -avz /backup/ [email protected]::backup --password-file=/etc/rsync.password

#local del

find /backup -type f -name "*.tar.gz" -mtime +7|xargs rm -f

我們在備份(backup)伺服器上檢視執行指令碼是否成功推送:

第三步:web伺服器和backup伺服器分別配置定時任務

web:

crontab –e

##web to backup##

00 00 * * * /bin/sh /server/scripts/backup.sh &>/dev/null

crontab -l

backup:

vi del.sh

find /backup -type f -name "*.tar.gz" -mtime +180|xargs rm -f

/bin/sh /server/scripts/del.sh

crontab –e

00 00 * * * /bin/sh  /server/scripts/del.sh >/dev/null 2&1

crontab -l

第四步:檢查備份伺服器備份結果是否正常(採用flag+資料包md5sum指紋)

web伺服器指令碼修改如下:

#!/bin/sh

#defined variable

IP=$(ifconfig eth0|awk -F '[ :]+' 'NR==2 {print $4}')

Path="/backup/$IP"

[ ! -d $Path ] && mkdir $Path -p

#backup

tar zcf $Path/conf_$(date +%F).tar.gz /var/spool/cron/root /etc/rc.local /etc/sysconfig/ipt

ables /server/scripts &&\tar zcf $Path/www_$(date +%F).tar.gz /var/html/www/ &&\

tar zcf $Path/log_$(date +%F).tar.gz /app/logs/ &&\

##flag+md5sum

find /backup/ -type f -name "*$(date +%F).tar.gz"|xargs md5sum >>$Path/flag_$(date +%F)

#to backup server

rsync -avz /backup/ [email protected]::backup --password-file=/etc/rsync.password

#local del

find /backup -type f -name "*.tar.gz" -mtime +7|xargs rm -f

在backup伺服器上檢視是否推送過來:

md5sum –c 需要檢查的檔案,ok為成功,failed為失敗。

注意:如果備份伺服器接收的包裡沒有flagmd5檔案也會報錯。

所以我們在工作中,只需要過濾flag檔案是否有FAILED或者失敗字元就可以了。

md5sum –c 檢查檔案 |grep “失敗”

可以把檢查檔案是否備份成功(完整備份)命令寫入指令碼控制。

#!/bin/sh

find /backup -type f -name "flag_$(date +%F)"|xargs md5sum -c|grep "失敗" >/opt/mail_bqh_$(

dae +%F).txt

mail -s "$(date +%U%T) back" [email protected] </opt/mail_bqh_$(date +%F).txt

cat /opt/mail_bqh_.txt

接下來我們寫定時任務檢查備份結果併發送至qq郵箱:

00 23 * * * /bin/sh /server/scripts/chback.sh >/dev/null 2&1

第五步:整體備份測試

詳細略….

用date –s 修改時間測試