1. 程式人生 > >linux 文件同步

linux 文件同步

targe div cli 密碼認證 出現 sock efi ignore 每次

最近需要對服務器上的文件實施動態備份,我又不想每次都手動來進行備份,在網上找了挺多資料,發現使用rsync就可以實現,如果想要實現實時同步,還可以使用rsync+inotify組合,本文就是以組合方式來完成的。

先介紹一下rsync與inotify。

1、rsync

與傳統的cp、tar備份方式相比,rsync具有安全性高、備份迅速、支持增量備份等優點,通過rsync可以解決對實時性要求不高的數據備份需求,例如定期的備份文件服務器數據到遠端服務器,對本地磁盤定期做數據鏡像等。
隨著應用系統規模的不斷擴大,對數據的安全性和可靠性也提出的更好的要求,rsync在高端業務系統中也逐漸暴露出了很多不足,首先,rsync同步數據時,需要掃描所有文件後進行比對,進行差量傳輸。如果文件數量達到了百萬甚至千萬量級,掃描所有文件將是非常耗時的。而且正在發生變化的往往是其中很少的一部分,這是非常低效的方式。其次,rsync不能實時的去監測、同步數據,雖然它可以通過linux守護進程的方式進行觸發同步,但是兩次觸發動作一定會有時間差,這樣就導致了服務端和客戶端數據可能出現不一致,無法在應用故障時完全的恢復數據。基於以上原因,rsync+inotify組合出現了!


2、inotify
Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制,linux內核從2.6.13起,加入了Inotify支持,通過Inotify可以監控文件系統中添加、刪除,修改、移動等各種細微事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況,而inotify-tools就是這樣的一個第三方軟件。
在上面章節中,我們講到,rsync可以實現觸發式的文件同步,但是通過crontab守護進程方式進行觸發,同步的數據和實際數據會有差異,而inotify可以監控文件系統的各種變化,當文件有任何變動時,就觸發rsync同步,這樣剛好解決了同步數據的實時性問題。
具體大家可以參照http://www.ibm.com/developerworks/cn/linux/l-ubuntu-inotify/index.html來進行學習。


接下面我們來開始進行rsync與inotify的安裝、配置、測試。

下面是2個服務器的結構,分別為主機名、ip、同步的目錄,並將2臺服務器均是CentOS 6.5發行版本。

Host IP Docoment
Server 192.168.1.21 /tmp
Client 192.168.1.22 /tmp


一、主服務器(Server)

其中主服務器需要安裝rsync與inotify,主服務器作為server,向備份服務器client傳輸文件

1、安裝rsync

該版本的已安裝rsync,如果沒有,可使用yum安裝(也可以使用源碼安裝,這裏就不多做介紹了):

技術分享圖片
#安裝rsync和xinetd,並創建目錄:
yum install rsync xinetd

#配置xinetd:
vi /etc/xinetd.d/rsync
#disable = yes修改為
disable = no

啟動xinetd服務:
service xinetd start
技術分享圖片

2、建立密碼認證文件

代碼如下:
[root@Server ]# echo "rsync-pwd" >/etc/rsync.passwd 
#其中rsync-pwd可以自己設置密碼,rsync.passwd名字也可以自己設置

[root@Server]# chmod 600 /etc/rsync.passwd 
#無論是為了安全,還是為了避免出現以下錯誤,密碼文件都需要給600權限

3、安裝inotify

技術分享圖片
[root@Server]# cd /usr/src/ 
[root@Server src]# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz 
[root@Server src]# tar zxvf inotify-tools-3.14.tar.gz 
[root@Server src]# cd inotify-tools-3.14 
[root@Server inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify 
[root@Server inotify-tools-3.14]# make 
[root@Server inotify-tools-3.14]# make install
技術分享圖片

4、創建rsync復制腳本

此項功能主要是將server端的目錄/tmp裏的內容,如果修改了(無論是添加、修改、刪除文件)能夠通過inotify監控到,並通過rsync實時的同步給client的/tmp裏,下面是通過shell腳本實現的。

技術分享圖片
#!/bin/bash 
host=192.168.1.22
src=/tmp/     
des=web 
user=webuser 
/usr/local/inotify/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f%e‘ -e modify,delete,create,attrib $src \ 
| while read files 
do 
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsync.passwd $src $user@$host::$des 
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1 
done
技術分享圖片

註意:建議各位吧rsync的日誌放到其他的目錄下(非備份目錄)。
其中host是client的ip,src是server端要實時監控的目錄,des是認證的模塊名,需要與client一致,user是建立密碼文件裏的認證用戶。
把這個腳本命名為rsync.sh,放到監控的目錄裏,比如我的就放到/tmp下面,並給予764權限

[root@Server tmp]# chmod 764 rsync.sh

然後運行這個腳本

[root@Server tmp]# sh /tmp/rsync.sh &

請記住,只有在備份服務器client端的rsync安裝並啟動rsync之後,在啟動rsync.sh腳本,否則有時候會滿屏出現:

rsync: failed to connect to 192.168.1.22: Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(107) [sender=2.6.8]

我們還可以把rsync.sh腳本加入到開機啟動項裏

[root@Server tmp]# echo "/tmp/rsync.sh" >> /etc/rc.local 


二、備份服務器(Client)

1、安裝rsync(備份服務器只安裝rsync)

技術分享圖片
#安裝rsync和xinetd,並創建目錄:
yum install rsync xinetd

#配置xinetd:
vi /etc/xinetd.d/rsync
#disable = yes修改為
disable = no

啟動xinetd服務:
service xinetd start
技術分享圖片

2、建立用戶與密碼認證文件

[root@Client]# echo "webuser:rsync-pwd" > /etc/rsync.passwd
#請記住,在server端建立的密碼文件,只有密碼,沒有用戶名;而在備份服務端client裏建立的密碼文件,用戶名與密碼都有。

[root@Client]# chmod 600 /etc/rsync.passwd 
#需要給密碼文件600權限

3、建立rsync配置文件

vim /etc/rsyncd.conf

技術分享圖片
uid = root 
gid = root 
use chroot = no 
max connections = 10 
strict modes = yes 
pid file = /var/run/rsyncd.pid 
lock file = /var/run/rsync.lock 
log file = /var/log/rsyncd.log 
[web] 
path = /tmp/ 
comment = web file 
ignore errors 
read only = no 
write only = no 
hosts allow = 192.168.10.220 
hosts deny = * 
list = false 
uid = root 
gid = root 
auth users = webuser 
secrets file = /usr/local/rsync/rsync.passwd 
技術分享圖片

其中web是server服務端裏的認證模塊名稱,需要與主服務器裏的一致,以上的配置我的自己服務器裏的配置,以供參考。

4、啟動rsync

service xinetd start
chkconfig xinetd on #設置開機自啟動


三、測試

現在rsync與inotify在server端安裝完成,rsync在備份服務器client端也安裝完成。接下來就可以來測試一下:

在server裏創建個test-rsync文件,看看client是否能收到

[root@Server tmp]# touch test-rsync

再看client端是否有test-rsync文件,同時client端的tmp目錄文件是否與server端的文件完全一致。如果一致,則表示已經設置成功。


由於網上很多資料都是轉載,所以不太清楚原文作者是誰,只能把我看到的資料鏈接放上去,請見諒!

參考資料:

http://www.jb51.net/article/57011.htm

http://blog.sina.com.cn/s/blog_6e00431d0102visw.html

linux 文件同步