1. RSYNC介紹

RSYNC是一款開源的，快速的，多功能的，可實現全量及增量的本地或遠端資料同步備份的優秀工具。Rsync軟體適用於unix/linux/windows等多種作業系統平臺。

遠端資料備份工具，可以實現全備份及增量備份，也可以本地備份。

英文全稱是Remote synchronization.
具有以下三種功能：

1. 遠端copy的功能：相當於ssh自帶的scp命令，但是又優於scp命令，scp每次都是全量拷貝。rsync高在增量拷貝，scp每次都是全量copy。
2. 本地copy功能：相當於是cp命令，但是又優於cp命令，因為cp每次都是全量copy。
3. rsync還可以實現刪除功能：相當於rm命令。

CentOS5.X中自帶的rsync版本都是2.6.x的版本，該版本存在的問題主要是效能方面的，比如，同步大量小檔案時容易出現記憶體溢位或同步中斷等現象，這主要與其2.6版本採用先列檔案列表，再進行同步的處理機制有關，在處理大檔案同步時也市場發生同步檔案不完整的現象.不過在CentOS6.x系列rsync版本都進行了升級，本篇文章使用的linux系統是CentOS6.7， 自帶的rsync的版本是3.0.6.

2. RSYNC的特性

1. support for copying links, devices, owners, groups, and permissions
   支援拷貝連結，裝置，使用者，使用者組和屬性許可權。
2. exclude and exclude-from options similar to GNU tar
   支援像tar一樣排除（或者從檔案中排除）備份檔案的特性
3. a CVS exclude mode for ignoring the same files that CVS would ignore
   支援CVS排除檔案模式
4. can use any transparent remote shell, including ssh or rsh
   支援遠端shell（ssh，rsh等）資料傳輸
5. does not require super-user privileges
   不需要超級使用者的許可權
6. pipelining of file transfers to minimize latency costs
   rsync3.x版本以後是一邊比較檔案一邊進行傳輸，減少了檔案傳輸的延遲
7. support for anonymous or authenticated rsync daemons (ideal for mirroring)
   支援匿名或需要驗證的rsync守護程序模式

3. 使用的工作場景

1. 把所有客戶資料資料同步到備份伺服器（可以配合定時任務，實現每天定時備份）
   

2. 實時同步（解決儲存伺服器的單點故障問題），rsync結合inotify的功能做實時資料同步。
   

4. RSYNC的工作方式

Rsync大致使用三種主要的傳輸資料的方式：

• 單個主機本地之間的資料傳輸（此時類似於cp命令的功能）[本地傳輸模式]
• 藉助rcp，ssh等通道來傳輸資料（此時類似於scp命令的功能）[遠端shell傳輸模式]
• 以守護程序（socket）的方式傳輸資料（這個是rsync自身的重要的功能）[守護程序模式]

官方介紹：

1. Local:  rsync [OPTION...] SRC... [DEST]
2. Access via remote shell:
        Pull: rsync [OPTION...] [[email protected]]HOST:SRC... [DEST]
        Push: rsync [OPTION...] SRC... [[email protected]]HOST:DEST
3. Access via rsync daemon:
        Pull: rsync [OPTION...] [[email protected]]HOST::SRC... [DEST]
              rsync [OPTION...] rsync://[[email protected]]HOST[:PORT]/SRC... [DEST]
        Push: rsync [OPTION...] SRC... [[email protected]]HOST::DEST
              rsync [OPTION...] SRC... rsync://[[email protected]]HOST[:PORT]/DEST

以上這些就是關於rsync的一些基本理論介紹。看著比較枯燥，下面開始實戰之旅：

5. 實戰環境介紹

眾所周知，linux有不同的發行商，核心也有不同的版本，下面是本篇文章的實驗版本：

[[email protected] ~]# cat /etc/redhat-release 
CentOS release 6.7 (Final)
[[email protected] ~]# uname -a
Linux backup 2.6.32-573.26.1.el6.x86_64 #1 SMP Wed May 4 00:57:44 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
[[email protected] ~]# 

Rsync的版本：

[[email protected] ~]# rsync --version
rsync  version 3.0.6  protocol version 30

首先確認Rsync是否已經安裝：

[[email protected] ~]# rpm -qa rsync
rsync-3.0.6-12.el6.x86_64
[[email protected] ~]# 
出現了這個資訊說明已經安裝，如果系統上沒有安裝rsync可以使用下面的命令進行安裝：
yum install rsync -y

6. 實戰之本地傳輸模式

本地傳輸模式實現的是本地同步功能，相當於是cp，rm等命令，說的簡單一點就是在同一臺機器上把資料從一個地方拷貝到另一個地方或者刪除資料，rsync比cp命令高階的地方在於，rsync拷貝時使用的是增量拷貝，即只會把不同的內容拷貝過去，這樣就大大提升了效能。

1. 語法格式

    rsync [OPTION...] SRC... [DEST]

2. 語法說明：

    1. rsync為同步的命令
    2. [option]為同步時需要的引數
    3. SRC為源，即待拷貝的分割槽，檔案或目錄
    4. [DEST]為目的分割槽，檔案或目錄  

3. 示例：

    本地拷貝命令
    [[email protected] ~]# cp /etc/hosts /tmp             #使用cp命令拷貝檔案
    [[email protected] ~]# rsync /etc/hosts /opt         #使用rsync命令拷貝檔案
    [[email protected] ~]# ls /opt/hosts
    /opt/hosts
    [[email protected] ~]#
   
    本地刪除命令：（這個功能比較危險，一般不建議用）
    [[email protected] ~]# mkdir /null -p     #建立一個不包含任何檔案的空目錄，名稱隨意
    [[email protected] ~]# ls /tmp/
    a.txt  hosts  today_backup_file.txt
    [[email protected] ~]# rsync -avz --delete /null/ /tmp    #然後把這個空目錄拷貝到要刪除的目錄，加--delete引數就實現了rsync的刪除功能， 這裡需要注意/null/這個目錄後面一定要加/,不能寫成/null這樣，寫成這樣的話，就會把/null這個目錄（包含目錄名）拷貝到/tmp目錄下，就實現不了刪除的功能了。
    sending incremental file list
    ./
    deleting .ICE-unix/
    deleting today_backup_file.txt
    deleting hosts
    deleting a.txt
    deleting .pwd.lock
   
    sent 29 bytes  received 15 bytes  88.00 bytes/sec
    total size is 0  speedup is 0.00
    [[email protected] ~]#

4. 重要引數介紹

    -r --recursive 遞迴模式，子目錄下的所有目錄都同樣傳輸
    -t --times 保持檔案時間資訊
    -o --owner 保持檔案屬主資訊
    -p –perms 保持檔案許可權
    -g --group保持檔案屬性
    -P --progress 顯示同步的過程及傳輸時的進度等資訊
    -D --devices 保持裝置檔案資訊
    -l --links 保留軟連線
    -e --rsh=command 使用的通道協議，指定替代rsh的shell程式，例如ssh等
    --exclude=PATTERN 指定排除不需要傳輸的檔案模式
    --exclude-from=file （檔名所在的目錄檔案）
    --bwlimit=RATE 限制傳輸的速度
    更多引數，請參照：
    http://www.samba.org/ftp/rsync/rsync.html

   三個常用引數：

    -v –verbose 詳細輸出模式，傳輸時的進度等資訊 
    -z –compress 傳輸時進行壓縮以提高傳輸效率， --compress-level=NUM可按級別壓縮  
    -a --archive 歸檔模式，表示以遞迴方式傳輸檔案，並保持所有檔案屬性，等於-rtopgDl

   7. 通過遠端shell進行資料傳輸(remote shell mode)

   用於兩臺機器之間資料的傳輸，比如把重要資料備份到伺服器。這個模式相當於是scp命令實現的功能，不過rsync還是可以實現增量的拷貝，而且支援目錄的拷貝，這個是比rsync好用的地方。

通過遠端shell（rcp，ssh等）傳輸可以分為兩種情況，其語法分別為：

拉： rsync [OPTION...] [[email protected]]HOST:SRC... [DEST]
推： rsync [OPTION...] SRC... [[email protected]]HOST:DEST

語法說明：

1.  rsync 為同步的命令
2.  [OPTION...]為同步時的引數選項
3.  [[email protected]]HOST:SRC...為同步的遠端的連結使用者和主機地址
4.  SRC為源，即待copy的分割槽，檔案或目錄等，和HOST之間用一個冒號連線
5.  [DEST]為目的分割槽，檔案或目錄等

拉取表示從遠端主機把資料同步到執行命令的本地主機相應的目錄；
推送表示從本地主機執行命令把本地的資料同步到遠端主機指定目錄下。
拉取的語法示例：

rsync -avz -e 'ssh -p 22' [email protected]:/opt/ /tmp/

推送的語法示例：

rsync -avz -e 'ssh -p 22' /etc/ [email protected]:/tmp/

特別提示：
注意一下兩個命令的區別：

rsync –avz /opt/ /tmp/
rsync -avz /opt /tmp/

/opt/表示推送或拉取/opt目錄下的內容，/opt表示推送或拉取/opt目錄及其裡面的內容。

8. 實戰之使用RSYNC守護程序模式（重點）

可以說，前面講的都是鋪墊，這個才是重中之重。
工作原理：

RSYNC守護程序模式，包含伺服器以及客戶機，伺服器上啟動rsync的守護程序，客戶機配置對應的使用者名稱和密碼，實現客戶機到伺服器的備份功能。RSYNC守護程序啟動的機器就是我們文章標題所說的備份伺服器。 其他的機器作為客戶端，向這臺機器推送資料，或從這臺機器上拉取資料。

在本篇文章的實戰中伺服器端的host那麼是backup，所以我們簡稱這臺伺服器為backup， 客戶機端的hostname是nsf01，同理，我們簡稱這臺客戶機為nfs01.

8.1 伺服器端（bakup機器）配置

a. 首先確認軟體是否安裝：

[[email protected] ~]# rpm -aq rsync
rsync-3.0.6-12.el6.x86_64
[[email protected] ~]#

b. 建立使用者

[[email protected] ~]# useradd rsync -s /sbin/nologin -M  #這個是rsync程序使用的使用者
[[email protected] ~]# id rsync
uid=501(rsync) gid=501(rsync) 組=501(rsync)
[[email protected] ~]#
客戶端連到伺服器用rsync使用者訪問許可權訪問資料

c. 建立伺服器端的配置檔案（rsyncd.conf）

#rsync_config_______________start
#created by grewan 07::23 2016-05-28
#Email:[email protected] blog: http://www.cnblogs.com/greta/
##rsyncd.conf start##
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log  #這個是rsync的log檔案，比較有用
[backup]
path = /backup/
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
#rsync_config_______________end

配置檔案說明：

d. 建立備份目錄

[[email protected] ~]# mkdir /backup
[[email protected] ~]# chown -R rsync.rsync /backup/  #一定記得修改檔案的使用者和使用者組
[[email protected] ~]# ls -ld /backup/
drwxr-xr-x 2 rsync rsync 4096 5月  22 15:05 /backup/
[[email protected] ~]#

e. 建立密碼檔案（根據配置檔案生生成）

[[email protected] ~]# echo "rsync_backup:grewan" > /etc/rsync.password
[[email protected] ~]# chmod 600 /etc/rsync.password

f. 啟動服務

[[email protected] ~]# rsync --daemon
[[email protected] ~]# lsof -i :873    #rsync的埠是873， 使用這個命令檢查rsync服務是否啟動成功
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rsync   3894 root    4u  IPv4  15807      0t0  TCP *:rsync (LISTEN)
rsync   3894 root    5u  IPv6  15808      0t0  TCP *:rsync (LISTEN) 
更多資訊參考：[[email protected] ~]# man rsyncd.conf

8.2 客戶端（nsf01機器）配置

a. 配置密碼檔案

[[email protected] ~]# echo "grewan" > /etc/rsync.password

b. 修改密碼檔案許可權

[[email protected] ~]# chmod 600 /etc/rsync.password

8.3 示例測試

注意：這裡的示例都是在客戶機端(nsf01)上進行操作的，一般的使用場景都是從客戶機備份資料到伺服器。

語法格式：

Pull: rsync [OPTION...] [[email protected]]HOST::SRC... [DEST]    #推資料到伺服器，這種方式比較常用
      rsync [OPTION...] rsync://[[email protected]]HOST[:PORT]/SRC... [DEST]
      
Push: rsync [OPTION...] SRC... [[email protected]]HOST::DEST     #從伺服器拉資料，這種方式比較常用
      rsync [OPTION...] SRC... rsync://[[email protected]]HOST[:PORT]/DEST

1.在客戶端(nfs01)上建立/backup目錄，及測試檔案

[[email protected] backup]# mkdir /backup -p   #建立目錄
[[email protected] backup]# touch {1..10}      #建立10個測試檔案
[[email protected] backup]# ls
1  10  2  3  4  5  6  7  8  9

2.把客戶端/backup目錄中的內容，備份到備份伺服器：

[[email protected] backup]# rsync -avz /backup/ rsync[email protected]::backup --password-file=/etc/rsync.password 
sending incremental file list
./
1
10
2
3
4
5
6
7
8
9

sent 450 bytes  received 201 bytes  1302.00 bytes/sec
total size is 0  speedup is 0.00
[[email protected] backup]#
命令說明： 
rsync -avz這個是命令和對應的引數
/backup/： 把backup目錄下的內容推送到伺服器
[email protected]::backup : 這個是伺服器的資訊，rsync_backup是配置檔案/etc/rsyncd.conf中配置的使用者名稱，
          172.16.1.41是伺服器的ip地址，backup是/etc/rsyncd.conf中配置的模組名，這個地方一定不要弄錯，
          可以再回去看看配置檔案，加深印象
--password-file：指定密碼檔案，不加這個引數的情況下，要手動輸入密碼。

3.在備份伺服器端(backup機器)檢視備份的結果

[[email protected] ~]# cd /backup/
[[email protected] backup]# ls
1  10  2  3  4  5  6  7  8  9
[[email protected] backup]#

4.第二種推送的方式
使用rsync協議的方式進行推送

[[email protected] backup]# rsync -avz /backup/ rsync://[email protected]/backup --password-file=/etc/rsync.password 
sending incremental file list
./
1
2
3
4
5

sent 239 bytes  received 106 bytes  690.00 bytes/sec
total size is 0  speedup is 0.00
[[email protected] backup]# 

5.從備份伺服器拉取內容

[[email protected] backup]# rsync -avz [email protected]::backup /backup/ --password-file=/etc/rsync.password 
receiving incremental file list
./
1
2
3
4
5

sent 162 bytes  received 326 bytes  325.33 bytes/sec
total size is 0  speedup is 0.00
[[email protected] backup]# ls
1  2  3  4  5
[[email protected] backup]#

6.第二種拉取的方式

[[email protected] backup]# rm -f *
[[email protected] backup]# rsync -avz rsync://[email protected]/backup /backup/ --password-file=/etc/rsync.password 
receiving incremental file list
./
1
2
3
4
5

sent 162 bytes  received 326 bytes  976.00 bytes/sec
total size is 0  speedup is 0.00
[[email protected] backup]#

7.刪除rsync同步程序

kill `cat /var/run/rsyncd.pid`  
kill `/var/run/rsyncd.pid` 

9. 多目錄共享

多目錄共享的意思是說客戶端可以向伺服器端多個目錄下進行推送或拉取。這個實現起來很簡單，就是在配置檔案中配置多個模組，每個模組可以指定不同的使用者名稱，密碼等等資訊。如果所有推送的模組基本資訊都相同，就可以把配置資訊放在多個模組的上面，模組只配置一個對應的路徑即可，像下面這個示例這樣：

[[email protected] backup]# cat /etc/rsyncd.conf 
#rsync_config_______________start
#created by grewan 07::23 2016-05-28
#Email:[email protected] blog: http://www.cnblogs.com/greta/
##rsyncd.conf start##
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]            #這裡配置多個模組，共同的配置專案，移動到模組的上面
path = /backup/
[test]
path = /test/
#rsync_config_______________end