Linux之rsync同步工具介紹
1.rsync介紹
Rsync是一款開源的、快速的、多功能的、可實現全量及增量的本地或遠端資料同步備份的優秀工具。Rsync軟體適用於unix/linux/windows等多種操作平臺。 rsync，remote synchronize顧名思意就知道它是一款實現遠端同步功能的軟體，它在同步檔案的同時，可以保持原來檔案的許可權、時間、軟硬連結等附加資訊。 rsync是用 “rsync 演算法”提供了一個客戶機和遠端檔案伺服器的檔案同步的快速方法，而且可以通過ssh方式來傳輸檔案，這樣其保密性也非常好，另外它還是免費的軟體。rsync官方文件（http://www.samba.org/ftp/rsync/rsync.html
rsync 特性（Some of the additional features of rsync are）
- support for copying links, devices, owners, groups, and permissions（支援拷貝特殊檔案如連結檔案，裝置等）
- exclude and exclude-from options similar to GNU tar （可以有排除指定檔案或目錄同步的功能，相當於打包命令tar的排除功能）
- a CVS exclude mode for ignoring the same files that CVS would ignore（可以做到保持原檔案或目錄的許可權，時間，軟硬連結，屬主、組等所有屬性均不改變-p）
- can use any transparent remote shell, including ssh or rsh（可實現增量同步，即只同步發生變化的資料，因此資料傳輸效率很高）
- does not require super-user privileges（可以使用rcp、rsh、ssh等方式來配合傳輸檔案（rsync本身不對資料加密））
- pipelining of file transfers to minimize latency costs（可以通過socket(程序方式)傳輸檔案和資料）
- support for anonymous or authenticated rsync daemons (ideal for mirroring)（支援匿名的或認證（無需系統使用者）的程序模式傳輸，可實現方便安全的進行資料備份及映象）
來源官網
2.rsync的工作方式
1)單個主句本地之間資料傳輸（此時類似於cp命令）
rsync本地傳送模式的語法是：rsync [option...] src...[dest]
rsync為同步的命令，[option]為同步時的引數選項，src為源，即待拷的分割槽，檔案或者目錄等，[dest]為目的分割槽檔案或者目錄等
ll /data <#刪除前看一下midir /null <#建立一個空目錄 rsync -r --delete /null /data/ll /data <#刪除完後看一下
2)藉助rcp,ssh等通道傳輸資料（此時類似於scp命令）
ssh-key中的scp回顧
scp -P 521 -rp -- /etc/hosts [email protected]: /tmp <# -P 跟埠號 使用者名稱@ ip ：目標檔案
rsync藉助ssh通道拉取
rsync -avzP -e ‘ssh -p 22’ [email protected]192.168.17:/opt /tmp <#-e 'ssh -p 22'表示通過ssh通道傳送資料，-p22可略
3)以守護程序（socket）的方式傳輸資料（這個是rsync自身的重要功能）
3.rsync命令使用，引數說明
-v, --verbose 詳細模式輸出 -z, --compress 對備份的檔案在傳輸時進行壓縮處理 -a, --archive 歸檔模式，表示以遞迴方式傳輸檔案，並保持所有檔案屬性，等於-rlptgoD -r, --recursive 對子目錄以遞迴模式處理 -t, --times 保持檔案時間資訊 -o, --owner 保持檔案屬主資訊 -g, --group 保持檔案屬組資訊 -p, --perms 保持檔案許可權 -R, --relative 使用相對路徑資訊 -b, --backup 建立備份，也就是對於目的已經存在有同樣的檔名時，將老的檔案重新命名為~filename。可以使用--suffix選項來指定不同的備份檔案字首。 --backup-dir 將備份檔案(如~filename)存放在在目錄下。 -suffix=SUFFIX 定義備份檔案字首 -u, --update 僅僅進行更新，也就是跳過所有已經存在於DST，並且檔案時間晚於要備份的檔案。(不覆蓋更新的檔案) -l, --links 保留軟鏈結 -L, --copy-links 想對待常規檔案一樣處理軟鏈結 --copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結 --safe-links 忽略指向SRC路徑目錄樹以外的鏈結 -H, --hard-links 保留硬鏈結 -q, --quiet 精簡輸出模式 -D, --devices 保持裝置檔案資訊 -S, --sparse 對稀疏檔案進行特殊處理以節省DST的空間 -n, --dry-run 現實哪些檔案將被傳輸 -W, --whole-file 拷貝檔案，不進行增量檢測 -x, --one-file-system 不要跨越檔案系統邊界 -B, --block-size=SIZE 檢驗演算法使用的塊尺寸，預設是700位元組 -e, --rsh=COMMAND 指定使用rsh、ssh方式進行資料同步 --rsync-path=PATH 指定遠端伺服器上的rsync命令所在路徑資訊 -C, --cvs-exclude 使用和CVS一樣的方法自動忽略檔案，用來排除那些不希望傳輸的檔案 --existing 僅僅更新那些已經存在於DST的檔案，而不備份那些新建立的檔案 --delete 刪除那些DST中SRC沒有的檔案 --delete-excluded 同樣刪除接收端那些被該選項指定排除的檔案 --delete-after 傳輸結束以後再刪除 --ignore-errors 及時出現IO錯誤也進行刪除 --max-delete=NUM 最多刪除NUM個檔案 --partial 保留那些因故沒有完全傳輸的檔案，以是加快隨後的再次傳輸 --force 強制刪除目錄，即使不為空 --numeric-ids 不將數字的使用者和組ID匹配為使用者名稱和組名 --timeout=TIME IP超時時間，單位為秒 -I, --ignore-times 不跳過那些有同樣的時間和長度的檔案 --size-only 當決定是否要備份檔案時，僅僅察看檔案大小而不考慮檔案時間 --modify-window=NUM 決定檔案是否時間相同時使用的時間戳視窗，預設為0 -T --temp-dir=DIR 在DIR中建立臨時檔案 --compare-dest=DIR 同樣比較DIR中的檔案來決定是否需要備份 -P 等同於 --partial --progress 顯示備份過程 --exclude=PATTERN 指定排除不需要傳輸的檔案模式 --include=PATTERN 指定不排除而需要傳輸的檔案模式 --exclude-from=FILE 排除FILE中指定模式的檔案 --include-from=FILE 不排除FILE指定模式匹配的檔案 --version 列印版本資訊 --address 繫結到特定的地址 --config=FILE 指定其他的配置檔案，不使用預設的rsyncd.conf檔案 --port=PORT 指定其他的rsync服務埠 --blocking-io 對遠端shell使用阻塞IO -stats 給出某些檔案的傳輸狀態 --progress 在傳輸時現實傳輸過程 --log-format=formAT 指定日誌檔案格式 --password-file=FILE 從FILE中得到密碼 --bwlimit=KBPS 限制I/O頻寬，KBytes per second -h, --help 顯示幫助資訊 很多對吧？簡單工作中我就只用過avz，哈哈哈
4.rsync服務端，客戶端安裝配置
1）服務端安裝配置
以守護程序（socket）的方式傳輸資料
[[email protected] ~]$ rpm -qa rsync #檢視是否安裝rsync rsync-3.0.6-9.el6_4.1.x86_64 [[email protected] ~]$ vim /etc/rsyncd.conf #/etc/rsyncd.conf預設是不存在的，所以我們要建立它並編輯它 #rsync_config_______________start ##rsyncd.conf start## uid = rsync #rsync使用的使用者，預設uid為-2，通常為 nobody gid = rsync #rsync使用的組（使用者所在的組）預設gid為-2，通常為nobody use chroot = no max connections = 200 #設定最大的連線數，預設為0，就是無限制，負值為關閉這個模組 timeout = 60 #預設為0，連線超時， pid file = /var/run/rsyncd.pid #rsync daemon啟動後將其程序PID寫入此檔案 lock file = /var/run/rsync.lock #鎖的機制 log file = /var/log/rsyncd.log #日誌配置檔案，報錯我們檢視他它 [king] #使用者模組 path = /king/ #使用者共享的檔案 ignore errors #錯誤忽略（i/o） read only = false #指定客戶端是否可以上傳檔案，預設對所有模組都為true list = false #不顯示列表 hosts allow = 192.168.1.7/24 #指定可以聯絡的客戶端使用者名稱和ip，address/mask hosts deny = 0.0.0.0/32 #預設是沒喲 auth users = rsync_backup #auth users指定以空格或者， 分隔的使用者可以使用那些模組 secrets file = /etc/rsync.password #secrets file 指定使用者名稱和密碼的檔案 格式 使用者名稱：密碼 #rsync_config_______________end ~ [[email protected] /]# chown -R rsync.rsync king/ #建立共享目錄，並讓rsync使用者可以管理king [[email protected] ~]# chmod 600 /etc/rsync.password #使用者密碼檔案只能是600 [[email protected] king]# ls -lh /etc/rsync.password -rw-------. 1 root root 19 9月 21 10:15 /etc/rsync.password [[email protected] ~]# cat /etc/rsync.password #檢視使用者密碼檔案,注意其格式 rsync_backup:king [[email protected] ~]# rsync --daemon #啟動rsync服務,如果想要重啟服務的話,先用pkill rsync殺掉程序然後再執行此操作 [[email protected] ~]# ps -ef|grep rsync|grep -v grep root 1670 1 0 13:56 ? 00:00:00 rsync --daemon 注意：要關閉防火牆和selinux [[email protected] .ssh]$ sudo /etc/init.d/iptables stop [[email protected] .ssh]$ sudo getenforce Enforcing [[email protected] .ssh]$ sudo setenforce 0 [[email protected] .ssh]$ getenforce Permissive
2）客戶端安裝配置
[[email protected] ~]# rpm -qa rsync rsync-3.0.6-9.el6_4.1.x86_64 [[email protected] ~]# vim /etc/rsync.password [[email protected] ~]# chmod 600 /etc/rsync.password [[email protected] ~]# useradd -s /sbin/nologin rsync [[email protected] ~]# cat /etc/rsync.password king
3）同步
Local: rsync [OPTION...] SRC... [DEST] Access via remote shell: Pull: rsync [OPTION...] [[email protected]]HOST:SRC... [DEST] Push: rsync [OPTION...] SRC... [[email protected]]HOST:DEST Access via rsync daemon: Pull: rsync [OPTION...] [[email protected]]HOST::SRC... [DEST] rsync [OPTION...] rsync://[[email protected]]HOST[:PORT]/SRC... [DEST] Push: rsync [OPTION...] SRC... [[email protected]]HOST::DEST rsync [OPTION...] SRC... rsync://[[email protected]]HOST[:PORT]/DEST pull: [[email protected] ~]# rsync -avz [email protected]192.168.1.7::king /data --password-file=/etc/rsync.password receiving incremental file list ./ a b sent 105 bytes received 224 bytes 658.00 bytes/sec total size is 8 speedup is 0.02 push: [[email protected] ~]# rsync -avz /data/ [email protected]192.168.1.7::king --password-file=/etc/rsync.password #注意/data後面有斜槓和沒斜槓的區別：沒有斜槓的話將目錄一塊同步，有斜槓的話只同步目錄下面的內容。
5.--exclude引數
1）只排除一個檔案不同步
rsync -avz --exclude=1 [email protected]192.168.1.7::king /data/ --password-file=/etc/rsync.password
--exclude= 檔名字 rsync_backup是你/etc/rsyncd.conf檔案裡配置的auth users = rsync_backup @ip king 是你/etc/rsyncd.conf檔案裡配置的[king]，--password-file=/etc/rsync.password即為讀取你的密碼檔案，注意你的密碼檔案許可權必須是600，且格式必須是類似鍵值對的形式存在，（使用者：密碼）
2）排除多個檔案不同步
方法一： rsync -avz --exclude={1,2} /data1/ [email protected]192.168.1.7::king --password-file=/etc/rsync.password #{檔名字用逗號隔開}
方法二：
rsync -avz --exclude={1..3} /data1/ [email protected]::king --password-file=/etc/rsync.password #{檔名字，這是檔名連續的檔案}
方法三：rsync -avz --exclude=1 --exclude=2 /data/ [email protected]::king --password-file=/etc/rsync.password #多個--exclude=檔名字，雖然麻煩，不失為方法。
3）無差異同步：--delete引數
一般是有需要在倆臺伺服器之間，必須要求資料同步，且實時性又不是很高的情況下，如：倆臺負載均衡下面的web伺服器之間的同步，或者高可用雙機配置之間的同步等，rsync無差異同步很危險切記。