rsync+inotify搭建實時同步系統
rsync具有安全性高、備份迅速、支持增量備份等優點,通過rsync可以解決對實時性要求不高的數據備份需求,例如定期地備份文件服務器數據到遠程服務器上,對本地磁盤定期進行數據鏡像等。
Rsync 不足
隨著應用系統規模的不斷擴大,對數據的安全性和可靠性提出了更高的要求,rsync便暴露出了很多不足之處。首先,rsync同步數據時,需要掃描所有文件後進行比對,然後進行差量傳輸。如果文件數量達到了百萬量級及以上時,掃描文件就非常耗費時間,有時還會出現只是很少一部分數據發生了變化,因此rsync就變得非常低效了。其次,rsync不能夠實時監測、同步數據,雖然它可以通過Linux守護進程的方式觸發同步,但是兩次觸發動作一定會出現時間差,可能導致服務器端和客戶端的數據出現不一致,後期無法在出現故障時完全恢復數據。
Rsync+inotify組合
為解決以上問題而出現的,實現了數據的實時同步
inotify是什麽 ?
inotify是一種強大的、細粒度的、異步的文件系統事件監控機制,Linux內核從2.6.13版本起,加入了對inotify的支持。通過inotify可以監控文件系統中添加、刪除、修改、移動等各種事件,利用這個內核接口,inotify-tools便可以監控文件系統下文件的各種變化情況了。
檢查內核是否支持inotify:
實驗案例:rsync+inotify搭建實時同步系統
案例描述:在前文Haproxy搭建高可用Web集群的網站拓撲架構圖基礎上,實現兩臺Web站點數據的實時同步,web1服務器為內容發布節點,web2服務器為同步節點(本文主要說明rsync+inotify實時同步數據技術,其他請閱讀前文,謝謝!)。
系統環境
主機 | 操作系統 | IP地址 | web站點目錄 | 軟件包 |
---|---|---|---|---|
負載調度服務器: | CentOS 7.0 x86_64 | 192.168.100.25 | 無 | haproxy-1.5.19.tar.gz |
web1節點服務器: | CentOS 7.0 x86_64 | 192.168.100.26 | /www/wwwroot | nginx-1.12.0.tar.gz、rsync-3.1.3.tar.gz、inotify-tools-3.14.tar.gz |
web2節點服務器: | CentOS 7.0 x86_64 | 192.168.100.27 | /web2/wwwroot | nginx-1.12.0.tar.gz、rsync-3.1.3.tar.gz |
Win 7 客戶端: | Windows 7 | 192.168.100.30 | 無 | 無 |
軟件包:rsync+inotify 密碼:do45
開始部署
inotify-tools是用來監控文件系統變化的工具,因此必須安裝在內容發布系統上,服務節點無需安裝它,而web2服務器上需要安裝rsync實現文件傳輸。
一、web2服務器(待同步數據:rsync)
1.安裝rsync軟件包
#解壓
tar zxvf rsync-3.1.3.tar.gz -C /opt
#切換目錄
cd /opt/rsync-3.1.3
#配置
./configure
#編譯及安裝
make && make install
2.修改rsync配置文件:
/etc/rsyncd.conf
#/etc/rsyncd: configuration file for rsync daemon mode
#See rsyncd.conf man page for more options.
#configuration example:
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict mode=yes
pid file = /var/run/rsyncd.pid
lock file=/var/run/rsync.lock
log file=/var/log/rsyncd.log
[web1]
path = /web1/wwwroot
comment = web1 file
ignore errrors
read only=no
write only=no
hosts allow=*
hosts deny=192.168.100.10
list=false
uid=root
gid=root
auth users=web1user
secrets file=/etc/web1.pass
3.新建密碼文件(文件格式:user:pass)
/etc/web1.pass
> web1user:www123
修改密碼文件權限
chmod 600 /etc/web1.pass
4.啟動rsync守護進程
/usr/local/bin/rsync --daemon
5.加入系統自啟動文件
echo "/usr/local/bin/rsync --daemon" >> /etc/rc.local
6.查看rsync進程
ps -ef | grep rsync
二、web1服務器(內發發布節點:rsync+inotify)
1.安裝rsync軟件包
#解壓
tar zxvf rsync-3.1.3.tar.gz -C /opt
#切換目錄
cd /opt/rsync-3.1.3
#配置
./configure
#編譯及安裝
make && make install
2.新建密碼文件,需和節點服務器密碼一致
/etc/server.pass
> www123
3.修改密碼文件權限
chmod 600 /etc/server.pass
4.安裝inotify-tools
#解壓
tar zxvf inotify-tools-3.14.tar.gz -C /opt
#切換目錄
cd -C /opt/inotify-tools-3.14
#配置
./configure
#編譯及安裝
make && make install
5.編寫shell腳本來配置內容發布節點
vim /web/inotifyrsync.sh
#!/bin/bash
host1=192.168.100.26
src=/web/wwwroot/
dst1=web1
user1=web1user
/usr/local/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f%e‘ -e close_write,delete,create,attrib $src \
| while read files
do
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src $user1@$host1::$dst1 > /dev/null 2>&1
echo "${files} was rsynced." >> /tmp/rsync.log 2>&1
done
6.為其指定可執行權限,然後放入後臺運行
chmod 755 /web/inotifyrsync.sh
/web/inotifyrsync.sh &
7.將腳本加入系統自啟動文件
echo "/web/inotifyrsync.sh &" >> /etc/rc.local
測試
在web1服務器節點的/web/wwwroot目錄下添加、刪除、修改文件,然後到web2服務器節點對應目錄去查看文件是否跟隨發布節點同步變化。
web1服務器為內容發布節點:
web2服務器進行數據同步:
rsync+inotify搭建實時同步系統