使用rsync和crontab進行伺服器自動備份
本文第一部分講了實現自動備份的流程,後兩部分分別介紹了crontab和rsync的簡單使用可供檢視。
一、使用rsync和crontab來實現伺服器內容增量自動備份
設已有主機A和B,需要從生產主機A備份資料到備份主機B,為減輕主機A的負擔,一切配置和命令在備份主機B上進行,備份主機B作為rsync伺服器,主機A只需要安裝有rsync即可。
資料備份方向:A→B
1.安裝rsync
sudo apt-get install rsync
主機AB都需要安裝rsync
2.配置檔案
(1)安裝rsync後config檔案不會自動生成,需要手動建立
只需在作為rsync伺服器的主機B上建立即可
vim /etc/rsyncd.conf #裡面的內容包括: #全域性配置 uid = root gid = root #指定主機B的使用者id和組 port = 873 #預設埠是873 use chroot = no max connections = 10 #最大連線數 list = yes #是否可以列出檔案列表 pid file = /var/run/rsyncd.pid #各類檔案的存放 lock file = /var/run/rsyncd.lock log file = /var/log/rsyncd.log #motd file = /etc/rsyncd.motd #歡迎檔案,裡面可以自己寫歡迎語 hosts allow = *.*.*.* #允許訪問的ip地址,這裡是A主機的地址 #hosts deny= #拒絕訪問的ip #timeout= #超時時間設定 [data] #指定釋出名,可以隨意起,備份時可以用釋出名代替具體路徑 path = /root/test #指定檔案目錄所在位置,就是你要備份的主機A上的目錄 read only = no #ignore errors #忽略IO #auth users = root #說明進行同步的使用者,可以不寫 #secrets file = /etc/sery.pass #指定口令檔案,如果用ssh可以不寫,不然需要用這個進行驗證 #儲存退出 :wq #將許可權改為600 chmod 600 /etc/rsyncd.conddis
3.訪問許可權
使用下面兩種方法之一
(1)使用ssh金鑰
主機B需要能通過ssh祕鑰登陸主機A
如果沒有則在B上
#該命令會在~/.ssh/目錄下建立id_rsa、id_rsa.pub兩個檔案ssh-keygen ssh-keygen 將公鑰拷貝到主機A的~/.ssh/authorized_keys檔案中 ssh-copyid root@主機A的ip
(2)使用口令檔案
主機B建立口令檔案
#vi /etc/rsync.pass root:123456 #口令檔案許可權必須為600 chmod 600 /etc/rsync.pass
主機A建立口令檔案
#vi /etc/rsync.pass 123456 #口令檔案許可權必須為600 chmod 600 /etc/rsync.pass
注意
兩檔案不同,備份主機B在此作為rsync伺服器,口令檔案包含使用者名稱,主機A上的口令檔案只包含口令即可。
口令檔案許可權必須為600
4.啟動rsync
主機B上啟動rsync
rsync –daemon --config=/etc/rsyncd.conf
5.設定rsync自動啟動
echo "/usr/bin/rsync --daemon --config=/etc/rsyncd.conf" >>/etc/rc.local
6.測試同步
#使用ssh登陸方式進行備份 rsync -avz -e ssh [email protected]*.*.*.(主機A的ip):/主機A要進行備份的目錄或檔案 /主機B上儲存備份檔案的目錄 #使用口令檔案驗證備份,要指定口令檔案 rsync –avz[email protected]*.*.*.(主機A的ip):/主機A要進行備份的目錄或檔案 /主機B上儲存備份檔案的目錄 –-password-file=/etc/rsync.pass
–a 使用archive模式,保持原有的檔案許可權
–v顯示到螢幕上
–z傳輸時壓縮資料
--delete是指如果伺服器端刪除了這一檔案,那麼客戶端也相應把檔案刪除,保持真正的一致,如果不加這個選項就是預設的增量備份。
data就是之前說的那個釋出名,/root/test 客戶端本地存放路徑
–password-file 指定密碼檔案
7.使用crontab實現自動同步
(1)將rsync語句寫進指令碼中
vim /root/rsyncd.sh #!/bin/bash rsync -avz -e ssh [email protected]*.*.*.(主機A的ip):/主機A要進行備份的目錄或檔案 /主機B上儲存備份檔案的目錄
(2)將剛寫指令碼加入crontab任務
#編輯使用者目前的crontab. crontab-e #在裡面加上crontab任務,已每天執行一次為例 #分 時 日 月 周 命令 * * */1 * * sh /root/rsyncd.sh
二、關於crontab的使用
1.命令引數
crontab file [-u user]-用指定的檔案替代目前的crontab。
crontab-[-u user]-用標準輸入替代目前的crontab.
crontab-1[user]-列出使用者目前的crontab.
crontab-e[user]-編輯使用者目前的crontab.
crontab-d[user]-刪除使用者目前的crontab.
crontab-c dir- 指定crontab的目錄。
2.格式及例子
crontab檔案的格式:M H D m d cmd.
M: 分鐘(0-59)。
H:小時(0-23)。
D:天(1-31)。
m: 月(1-12)。
d: 一星期內的天(0~6,0為星期天)。
cmd要執行的程式,程式被送入sh執行,這個shell只有USER,HOME,SHELL這三個環境變數
例子 :
#每天早上7點執行一次 /bin/ls :
0 7 * * * /bin/ls
在 12 月內, 每天的早上 6 點到 12 點中,每隔3個小時執行一次 /usr/bin/backup :
0 6-12/3 * 12 * /usr/bin/backup
週一到週五每天下午 5:00 寄一封信給 [email protected] :
0 17 * * 1-5 mail -s "hi" [email protected] < /tmp/maildata
每月每天的午夜 0 點 20 分, 2 點 20 分, 4 點 20 分....執行 echo "haha"
20 0-23/2 * * * echo "haha"
注意 :
當程式在你所指定的時間執行後,系統會寄一封信給你,顯示該程式執行的內容,若是你不希望收到這樣的信,請在每一行空一格之
後加上 > /dev/null 2>&1 即可
三、關於rsync命令格式及引數
1.命令格式
Rsync的命令格式可以為以下六種:
rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [[email protected]]HOST:DEST
rsync [OPTION]... [[email protected]]HOST:SRC DEST
rsync [OPTION]... [[email protected]]HOST::SRC DEST
rsync [OPTION]... SRC [[email protected]]HOST::DEST
rsync [OPTION]... rsync://[[email protected]]HOST[:PORT]/SRC [DEST]
對應於以上六種命令格式,rsync有六種不同的工作模式:
1)拷貝本地檔案。當SRC和DES路徑資訊都不包含有單個冒號":"分隔符時就啟動這種工作模式。如:rsync -a /data /backup
2)使用一個遠端shell程式(如rsh、ssh)來實現將本地機器的內容拷貝到遠端機器。當DST路徑地址包含單個冒號":"分隔符時啟動該模式。如:rsync -avz *.c foo:src
3)使用一個遠端shell程式(如rsh、ssh)來實現將遠端機器的內容拷貝到本地機器。當SRC地址路徑包含單個冒號":"分隔符時啟動該模式。如:rsync -avz foo:src/bar /data
4)從遠端rsync伺服器中拷貝檔案到本地機。當SRC路徑資訊包含"::"分隔符時啟動該模式。如:rsync -av [email protected]::www /databack
5)從本地機器拷貝檔案到遠端rsync伺服器中。當DST路徑資訊包含"::"分隔符時啟動該模式。如:rsync -av /databack [email protected]::www
6)列遠端機的檔案列表。這類似於rsync傳輸,不過只要在命令中省略掉本地機資訊即可。如:rsync -v rsync://172.16.78.192/www
2.引數解釋
rsync引數的具體解釋如下:
-v, --verbose 詳細模式輸出
-q, --quiet 精簡輸出模式
-c, --checksum 開啟校驗開關,強制對檔案傳輸進行校驗
-a, --archive 歸檔模式,表示以遞迴方式傳輸檔案,並保持所有檔案屬性,等於-rlptgoD
-r, --recursive 對子目錄以遞迴模式處理
-R, --relative 使用相對路徑資訊
-b, --backup 建立備份,也就是對於目的已經存在有同樣的檔名時,將老的檔案重新命名為~filename。可以使用--suffix選項來指定不同的備份檔案字首。
--backup-dir 將備份檔案(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份檔案字首
-u, --update 僅僅進行更新,也就是跳過所有已經存在於DST,並且檔案時間晚於要備份的檔案。(不覆蓋更新的檔案)
-l, --links 保留軟鏈結
-L, --copy-links 想對待常規檔案一樣處理軟鏈結
--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結
--safe-links 忽略指向SRC路徑目錄樹以外的鏈結
-H, --hard-links 保留硬鏈結
-p, --perms 保持檔案許可權
-o, --owner 保持檔案屬主資訊
-g, --group 保持檔案屬組資訊
-D, --devices 保持裝置檔案資訊
-t, --times 保持檔案時間資訊
-S, --sparse 對稀疏檔案進行特殊處理以節省DST的空間
-n, --dry-run現實哪些檔案將被傳輸
-W, --whole-file 拷貝檔案,不進行增量檢測
-x, --one-file-system 不要跨越檔案系統邊界
-B, --block-size=SIZE 檢驗演算法使用的塊尺寸,預設是700位元組
-e, --rsh=COMMAND 指定使用rsh、ssh方式進行資料同步
--rsync-path=PATH 指定遠端伺服器上的rsync命令所在路徑資訊
-C, --cvs-exclude 使用和CVS一樣的方法自動忽略檔案,用來排除那些不希望傳輸的檔案
--existing 僅僅更新那些已經存在於DST的檔案,而不備份那些新建立的檔案
--delete 刪除那些DST中SRC沒有的檔案
--delete-excluded 同樣刪除接收端那些被該選項指定排除的檔案
--delete-after 傳輸結束以後再刪除
--ignore-errors 及時出現IO錯誤也進行刪除
--max-delete=NUM 最多刪除NUM個檔案
--partial 保留那些因故沒有完全傳輸的檔案,以是加快隨後的再次傳輸
--force 強制刪除目錄,即使不為空
--numeric-ids 不將數字的使用者和組ID匹配為使用者名稱和組名
--timeout=TIME IP超時時間,單位為秒
-I, --ignore-times 不跳過那些有同樣的時間和長度的檔案
--size-only 當決定是否要備份檔案時,僅僅察看檔案大小而不考慮檔案時間
--modify-window=NUM 決定檔案是否時間相同時使用的時間戳視窗,預設為0
-T --temp-dir=DIR 在DIR中建立臨時檔案
--compare-dest=DIR 同樣比較DIR中的檔案來決定是否需要備份
-P 等同於 --partial
--progress 顯示備份過程
-z, --compress 對備份的檔案在傳輸時進行壓縮處理
--exclude=PATTERN 指定排除不需要傳輸的檔案模式
--include=PATTERN 指定不排除而需要傳輸的檔案模式
--exclude-from=FILE 排除FILE中指定模式的檔案
--include-from=FILE 不排除FILE指定模式匹配的檔案
--version 列印版本資訊
--address 繫結到特定的地址
--config=FILE 指定其他的配置檔案,不使用預設的rsyncd.conf檔案
--port=PORT 指定其他的rsync服務埠
--blocking-io 對遠端shell使用阻塞IO
-stats 給出某些檔案的傳輸狀態
--progress 在傳輸時現實傳輸過程
--log-format=formAT 指定日誌檔案格式
--password-file=FILE 從FILE中得到密碼
--bwlimit=KBPS 限制I/O頻寬,KBytes per second
-h, --help 顯示幫助資訊