rsync實時同步服務部署
阿新 • • 發佈：2018-06-14
null 阻塞io per fig 關系 依次 max scrip who 
部署rsync服務
一。需求：
把客戶端文件同步到服務端指定位置
服務端：備份服務器為 172.16.3.164
客戶端：推送服務器為 172.16.3.94
二。基礎知識：
rsync 分為服務器端、客戶端，服務器端搭建比客戶端辛苦一些。 rsync 服務器是指以 deamon 方式運行 rsync 服務的服務器，需要打開 rsync deamon 和啟動 xinetd 服務。默認端口873。 rsync 客戶端是發起 rsync 連接的服務器，安裝rsync即可。 rsync 客戶端發起連接後，rsync 服務器會檢查 rsync 客戶端提交 rsync 服務器內建的戶名和密碼是否正確，如果通過認證檢測，則開始文件傳輸，
傳輸的過程是按要求先比對文件的大小、屬性、權限、MD5值等信息，如果兩端文件信息不一致，則按要求同步文件的區別塊。
三。安裝
大多數Linux操作系統都自帶 rsync 服務，如果想升級可以使用 yum 等，也可以使用源碼包自己安裝。
yum安裝rsync軟件包： yum -y install rsync 源碼包安裝 wget https://download.samba.org/pub/rsync/rsync-3.1.2.tar.gz tar -xzf rsync-3.1.2.tar.gz cd rsync-3.1.2 ./configure --prefix=/usr/local/rsyncd make && make install兩種安裝方式命令
查詢軟件是否存在命令
[root@backup ~]# rpm -qa |grep rsync rsync-3.0.6-12.el6.x86_64
四。服務端配置
rsync 配置文件安裝完有時候並不存在，不必驚慌，可以手動創建。創建配置文件目錄及文件如下:
1.配置/etc/rsyncd.conf文件
uid = root gid = root use chroot = no max connections = 200 timeout = 300 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log [data] #模塊名，以下配置都屬於此模塊 path = /home/ftp/ #文件目錄指定位置 ignoe errors read only/etc/rsyncd.conf配置文件內容= no list = false hosts allow = 172.16.2.0/24 hosts deny = 0.0.0.0/32 auth users = sysadm secrets file = /etc/rsync.password #rsync_config______end
pid file = /var/run/rsyncd.pid #進程 pid 文件所在位置 port = 873 #指定監聽端口，默認是873，可以自己指定 address = 192.168.1.171 #服務器監聽的IP地址，可省略 uid = root #守護進程所屬的uid，默認是nobody，可能會碰到文件或目錄權限問題，此處偷懶用的 root gid = root #守護進程的gid #chroot，即改變程序執行時所參考的根目錄位置，在傳輸文件之前，服務器守護程序在將chroot 到文件系統中的目錄中 #這樣做的好處是可能保護系統被安裝漏洞侵襲的可能。缺點是需要超級用戶權限。另外對符號鏈接文件，將會排除在外 #也就是說，你在 rsync服務器上，如果有符號鏈接，你在備份服務器上運行客戶端的同步數據時，只會把符號鏈接名同步下來，並不會同步符號鏈接的內容 use chroot = yes read only = no #只讀選擇，只讓客戶端從服務器上讀取文件 write only = yes #只寫選擇，只讓客戶端到服務器上寫入 #允許訪問的IP，可以指定單個IP，也可以指定整個網段，能提高安全性。格式是 ip 與 ip 之間、ip 和網段之間、網段和網段之間要用空格隔開； hosts allow = 192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0 max connections = 5 #客戶端最多連接數 #當用戶登錄時會看到這個信息。比如顯示當前時間、公告等 motd file = /etc/rsyncd/rsyncd.motd log file = /var/log/rsync.log #rsync 服務器的日誌； transfer logging = yes #記錄傳輸文件的日誌 log format = %t %a %m %f %b #日誌格式 syslog facility = local3 #日誌級別 #通過該選項可以覆蓋客戶指定的IP超時時間。可以確保rsync服務器不會永遠等待一個崩潰的客戶端。超時單位為秒鐘，0表示沒有超時定義，這也是默認值。對於匿名rsync服務器來說，一個理想的數字是600。 timeout = 300 #模塊定義 #主要是定義服務器哪個目錄要被同步。 #每個模塊都要以[name]形式。這個名字就是在 rsync 客戶端看到的名字。 #但是服務器真正同步的數據是通過 path 指定的。可以依次創建多個模塊。 #每個模塊要指定認證用戶、密碼文件，但排除並不是必須的。 [ logs ] #模塊名，以下配置都屬於此模塊 path = /var/log #文件目錄所在位置 list = no #當查看服務器上提供了哪些目錄時是否列出來，no比較安全 ignore errors #忽略I/O錯誤 #指定由空格或逗號分隔的用戶名列表，只有這些用戶才允許連接該模塊。這裏的用戶和系統用戶沒有任何關系，是 rsyncd.secrets 中的用戶名！ #如果"auth users"被設置，那麽客戶端發出對該模塊的連接請求以後會被rsync請求challenged進行驗證身份。 #這裏使用的 challenge/response 認證協議。 #用戶的名和密碼以明文方式存放在"secrets file"選項指定的文件中。默認情況下無需密碼就可以連接模塊(也就是匿名方式)。 auth users = zhangzk secrets file = /etc/rsyncd/rsyncd.secrets #密碼文件 exclude = error_log httpd.pid #忽略的文件或目錄 comment this is my log #本模塊註釋，可選/etc/rsyncd.conf配置項詳情
2.創建密碼文件並修改權限:
echo "sysadm:123456" > /etc/rsync.password chmod 600 /etc/rsync.password
3.啟動守護進程:
#rsync --daemon
4.查看相關信息：
查看進程 ps -ef |grep rsync |grep -v grep 查看端口 netstat –lnt 通過端口號反解服務 lsof -i tcp:873
五。客戶端設置（推送端即需要備份的生產數據端）例：（172.16.3.94）
1.設置密碼文件並修改權限：
echo "123456" > /etc/rsync.password chmod 600 /etc/rsync.password
2.下面就到了驗證成果的時刻了，具體命令如下：
首先我們查看一下我們要操作的文件有多大：
du –sh /home/ftp/
六。傳輸數據命令：
172.16.3.94 往3.164模塊上推送 rsync -avz -P /home/ftp/ [email protected]::data/ --password-file=/etc/rsync.password 由備份節點3.164往 3.94上恢復文件或拷貝文件 rsync -avz -P [email protected]::ftp/ /home/ftp/ --password-file=/etc/rsync.password --delete 慎用 （數據同步校驗） 刪除遠程端3.164上 rsync -avz -P --delete /home/ftp/ [email protected]::ftp/ --password-file=/etc/rsync.password
深度探究
#!/bin/bash # chkconfig: - 85 15 # description: rsync status1=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v ‘grep‘) pidfile="/var/run/rsyncd.pid" start_rsync="rsync --daemon --config=/etc/rsyncd/rsyncd.conf" function rsyncstart() { if [ "${status1}X" == "X" ]; then rm -f $pidfile ${start_rsync} status2=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v ‘grep‘) if [ "${status2}X" != "X" ]; then echo "rsync service start.......OK" fi else echo "rsync service is running !" fi } function rsyncstop() { if [ "${status1}X" != "X" ]; then kill -9 $(cat $pidfile) status2=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v ‘grep‘) if [ "${statusw2}X" == "X" ]; then echo "rsync service stop.......OK" fi else echo "rsync service is not running !" fi } function rsyncstatus() { if [ "${status1}X" != "X" ]; then echo "rsync service is running !" else echo "rsync service is not running !" fi } function rsyncrestart() { if [ "${status1}X" == "X" ]; then echo "rsync service is not running..." rsyncstart else rsyncstop rsyncstart fi } case $1 in "start") rsyncstart ;; "stop") rsyncstop ;; "status") rsyncstatus ;; "restart") rsyncrestart ;; *) echo echo "Usage: $0 start|stop|restart|status" echo esac/etc/init.d/rsync
全局參數 在文件中[module]之前的所有參數都是全局參數，當然也可以在全局參數部分定義模塊參數，這時候該參數的值就是所有模塊的默認值。 port 指定後臺程序使用的端口號，默認為873。 motd file "motd file"參數用來指定一個消息文件，當客戶連接服務器時該文件的內容顯示給客戶，默認是沒有motd文件的。 log file "log file"指定rsync的日誌文件，而不將日誌發送給syslog。比如可指定為“/var/log/rsyncd.log”。 pid file 指定rsync的pid文件，通常指定為“/var/run/rsyncd.pid”。 syslog facility 指定rsync發送日誌消息給syslog時的消息級別，常見的消息級別是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7。默認值是daemon。 模塊參數 主要是定義服務器哪個目錄要被同步。其格式必須為“[module]”形式，這個名字就是在rsync 客戶端看到的名字，其實有點象Samba服務器提供的共享名。而服務器真正同步的數據是通過 path 來指定的。我們可以根據自己的需要，來指定多個模塊，模塊中可以定義以下參數： comment 給模塊指定一個描述，該描述連同模塊名在客戶連接得到模塊列表時顯示給客戶。默認沒有描述定義。 path 指定該模塊的供備份的目錄樹路徑，該參數是必須指定的。 use chroot 如 果"use chroot"指定為true，那麽rsync在傳輸文件以前首先chroot到path參數所指定的目錄下。這樣做的原因是實現額外的安全防護，但是缺 點是需要以roots權限，並且不能備份指向外部的符號連接所指向的目錄文件。默認情況下chroot值為true。 uid 該選項指定當該模塊傳輸文件時守護進程應該具有的uid，配合gid選項使用可以確定哪些可以訪問怎麽樣的文件權限，默認值是"nobody"。 gid 該選項指定當該模塊傳輸文件時守護進程應該具有的gid。默認值為"nobody"。 max connections 指定該模塊的最大並發連接數量以保護服務器，超過限制的連接請求將被告知隨後再試。默認值是0，也就是沒有限制。 list 該選項設定當客戶請求可以使用的模塊列表時，該模塊是否應該被列出。如果設置該選項為false，可以創建隱藏的模塊。默認值是true。 read only 該選項設定是否允許客戶上載文件。如果為true那麽任何上載請求都會失敗，如果為false並且服務器目錄讀寫權限允許那麽上載是允許的。默認值為true。 exclude 用來指定多個由空格隔開的多個文件或目錄(相對路徑)，並將其添加到exclude列表中。這等同於在客戶端命令中使用--exclude來指定模式，一個 模塊只能指定一個exclude選項。但是需要註意的一點是該選項有一定的安全性問題，客戶很有可能繞過exclude列表，如果希望確保特定的文件不能 被訪問，那就最好結合uid/gid選項一起使用。 exclude from 指定一個包含exclude模式的定義的文件名，服務器從該文件中讀取exclude列表定義。 include 用來指定不排除符合要求的文件或目錄。這等同於在客戶端命令中使用--include來指定模式，結合include和exclude可以定義復雜的exclude/include規則。 include from 指定一個包含include模式的定義的文件名，服務器從該文件中讀取include列表定義。 auth users 該選項指定由空格或逗號分隔的用戶名列表，只有這些用戶才允許連接該模塊。這裏的用戶和系統用戶沒有任何關系。如果"auth users"被設置，那麽客戶端發出對該模塊的連接請求以後會被rsync請求challenged進行驗證身份這裏使用的 challenge/response認證協議。用戶的名和密碼以明文方式存放在"secrets file"選項指定的文件中。默認情況下無需密碼就可以連接模塊(也就是匿名方式)。 secrets file 該選項指定一個包含定義用戶名:密碼對的文件。只有在"auth users"被定義時，該文件才有作用。文件每行包含一個username:passwd對。一般來說密碼最好不要超過8個字符。沒有默認的 secures file名，需要限式指定一個(例如：/etc/rsyncd.passwd)。註意：該文件的權限一定要是600，否則客戶端將不能連接服務器。 strict modes 該選項指定是否監測密碼文件的權限，如果該選項值為true那麽密碼文件只能被rsync服務器運行身份的用戶訪問，其他任何用戶不可以訪問該文件。默認值為true。 hosts allow 該選項指定哪些IP的客戶允許連接該模塊。客戶模式定義可以是以下形式： 單個IP地址，例如：192.167.0.1 整個網段，例如：192.168.0.0/24，也可以是192.168.0.0/255.255.255.0 多個IP或網段需要用空格隔開，“*”則表示所有，默認是允許所有主機連接。 hosts deny 指定不允許連接rsync服務器的機器，可以使用hosts allow的定義方式來進行定義。默認是沒有hosts deny定義。 ignore errors 指定rsyncd在判斷是否運行傳輸時的刪除操作時忽略server上的IO錯誤，一般來說rsync在出現IO錯誤時將將跳過--delete操作，以防止因為暫時的資源不足或其它IO錯誤導致的嚴重問題。 ignore nonreadable 指定rysnc服務器完全忽略那些用戶沒有訪問權限的文件。這對於在需要備份的目錄中有些文件是不應該被備份者得到的情況是有意義的。 lock file 指定支持max connections參數的鎖文件，默認值是/var/run/rsyncd.lock。 transfer logging 使rsync服務器使用ftp格式的文件來記錄下載和上載操作在自己單獨的日誌中。 log format 通過該選項用戶在使用transfer logging可以自己定制日誌文件的字段。其格式是一個包含格式定義符的字符串，可以使用的格式定義符如下所示： %h 遠程主機名 %a 遠程IP地址 %l 文件長度字符數 %p 該次rsync會話的進程id %o 操作類型："send"或"recv" %f 文件名 %P 模塊路徑 %m 模塊名 %t 當前時間 %u 認證的用戶名(匿名時是null) %b 實際傳輸的字節數 %c 當發送文件時，該字段記錄該文件的校驗碼 默認log格式為："%o %h [%a] %m (%u) %f %l"，一般來說,在每行的頭上會添加"%t [%p] "。在源代碼中同時發布有一個叫rsyncstats的perl腳本程序來統計這種格式的日誌文件。 timeout 通過該選項可以覆蓋客戶指定的IP超時時間。通過該選項可以確保rsync服務器不會永遠等待一個崩潰的客戶端。超時單位為秒鐘，0表示沒有超時定義，這也是默認值。對於匿名rsync服務器來說，一個理想的數字是600。 refuse options 通過該選項可以定義一些不允許客戶對該模塊使用的命令參數列表。這裏必須使用命令全名，而不能是簡稱。但發生拒絕某個命令的情況時服務器將報告錯誤信息然後退出。如果要防止使用壓縮，應該是："dont compress = *"。 dont compress 用來指定那些不進行壓縮處理再傳輸的文件，默認值是*.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbzrsync配置參數
-v, --verbose 詳細模式輸出 -q, --quiet 精簡輸出模式 -c, --checksum 打開校驗開關，強制對文件傳輸進行校驗 -a, --archive 歸檔模式，表示以遞歸方式傳輸文件，並保持所有文件屬性，等於-rlptgoD -r, --recursive 對子目錄以遞歸模式處理 -R, --relative 使用相對路徑信息 -b, --backup 創建備份，也就是對於目的已經存在有同樣的文件名時，將老的文件重新命名為~filename。可以使用--suffix選項來指定不同的備份文件前綴。 --backup-dir 將備份文件(如~filename)存放在在目錄下。 -suffix=SUFFIX 定義備份文件前綴 -u, --update 僅僅進行更新，也就是跳過所有已經存在於DST，並且文件時間晚於要備份的文件。(不覆蓋更新的文件) -l, --links 保留軟鏈結 -L, --copy-links 想對待常規文件一樣處理軟鏈結 --copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結 --safe-links 忽略指向SRC路徑目錄樹以外的鏈結 -H, --hard-links 保留硬鏈結 -p, --perms 保持文件權限 -o, --owner 保持文件屬主信息 -g, --group 保持文件屬組信息 -D, --devices 保持設備文件信息 -t, --times 保持文件時間信息 -S, --sparse 對稀疏文件進行特殊處理以節省DST的空間 -n, --dry-run現實哪些文件將被傳輸 -W, --whole-file 拷貝文件，不進行增量檢測 -x, --one-file-system 不要跨越文件系統邊界 -B, --block-size=SIZE 檢驗算法使用的塊尺寸，默認是700字節 -e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步 --rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息 -C, --cvs-exclude 使用和CVS一樣的方法自動忽略文件，用來排除那些不希望傳輸的文件 --existing 僅僅更新那些已經存在於DST的文件，而不備份那些新創建的文件 --delete 刪除那些DST中SRC沒有的文件 --delete-excluded 同樣刪除接收端那些被該選項指定排除的文件 --delete-after 傳輸結束以後再刪除 --ignore-errors 及時出現IO錯誤也進行刪除 --max-delete=NUM 最多刪除NUM個文件 --partial 保留那些因故沒有完全傳輸的文件，以是加快隨後的再次傳輸 --force 強制刪除目錄，即使不為空 --numeric-ids 不將數字的用戶和組ID匹配為用戶名和組名 --timeout=TIME IP超時時間，單位為秒 -I, --ignore-times 不跳過那些有同樣的時間和長度的文件 --size-only 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間 --modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認為0 -T --temp-dir=DIR 在DIR中創建臨時文件 --compare-dest=DIR 同樣比較DIR中的文件來決定是否需要備份 -P 等同於 --partial --progress 顯示備份過程 -z, --compress 對備份的文件在傳輸時進行壓縮處理 --exclude=PATTERN 指定排除不需要傳輸的文件模式 --include=PATTERN 指定不排除而需要傳輸的文件模式 --exclude-from=FILE 排除FILE中指定模式的文件 --include-from=FILE 不排除FILE指定模式匹配的文件 --version 打印版本信息 --address 綁定到特定的地址 --config=FILE 指定其他的配置文件，不使用默認的rsyncd.conf文件 --port=PORT 指定其他的rsync服務端口 --blocking-io 對遠程shell使用阻塞IO -stats 給出某些文件的傳輸狀態 --progress 在傳輸時現實傳輸過程 --log-format=formAT 指定日誌文件格式 --password-file=FILE 從FILE中得到密碼 --bwlimit=KBPS 限制I/O帶寬，KBytes per second -h, --help 顯示幫助信息rsync命令參數
rsync實時同步服務部署