rsync+inotify遠端同步
rsync+inotify遠端同步
一、rsync
1.rsync（Remote Sync，遠端同步）是一個開源的快速備份工具，可以在不同主機之間映象同步整個目錄樹，支援增量備份，並保持連結和許可權，且採用優化的同步演算法，傳輸前執行壓縮，因此非常適用於異地備份、映象伺服器等應用。
2.在遠端同步任務中，負責發起rsync同步操作的客戶機稱為發起端，而負責響應來自客戶機的rsync同步操作的伺服器稱為同步源。在同步過程中，同步源負責提供檔案的原始位置，發起端應對該位置具有讀取許可權。
3.rsync的官方站點的網址是http://rsync.samba.org/，目前最新版本是3.1.3，由Wayne Davison 進行維護。作為一種最常用的檔案備份工具，rsync往往是Linux和UNIX系統預設安裝的基本元件之一。
二、rsync下行/拉取流程
1.在遠端同步任務中，負責發起rsync同步操作的客戶機稱為發起端，而負責響應來自客戶機的rsync同步操作的伺服器稱為同步源。
2.在同步過程中，同步源負責提供檔案的原始位置，發起端應對該位置具有讀取許可權。
三、部署rsync源伺服器
192.168.30.18
rpm -q rsync #一般系統已預設安裝rsync #建立/etc/rsyncd.conf 配置檔案 vim /etc/rsyncd.conf #新增以下配置項 uid = nobody #也可以為root gid = nobody #也可以為root use chroot = yes #禁錮在源目錄 address = 192.168.30.18 #監聽地址，監聽本機地址 port 873 #監聽埠 tcp/udp 873，可通過cat /etc/services | grep rsync檢視 log file = /var/log/rsyncd.log #日誌檔案位置 pid file = /var/run/rsyncd.pid #存放程序 ID 的檔案位置 hosts allow = 192.168.30.0/24 #允許同步的客戶機網段 [wwwroot] #共享模組名稱 path = /var/www/html #源目錄的實際路徑（同步的目錄） comment = Document Root of www.gcc.com read only = yes #是否為只讀 dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z #同步時不再壓縮的檔案型別 auth users = backuper #授權賬戶，多個賬號以空格分隔 secrets file = /etc/rsyncd_users.db #存放賬戶資訊的資料檔案 ------------------------------------------------------------------------------- uid = nobody gid = nobody use chroot = yes address = 192.168.30.18 port 873 log file = /var/log/rsyncd.log pid file = /var/run/rsyncd.pid hosts allow = 192.168.30.0/24 [wwwroot] path = /var/www/html comment = Document Root of www.gcc.com read only = yes dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z auth users = backuper secrets file = /etc/rsyncd_users.db ---------------------------------------------------------------------------------- #如採用匿名的方式，只要將其中的“auth users”和“secrets file”配置項去掉即可。 #為備份賬戶建立資料檔案 vim /etc/rsyncd_users.db backuper:abc123 #無須建立同名系統使用者 chmod 600 /etc/rsyncd_users.db #補充：SSH -i 金鑰檔案位置 [email protected] #授權遠端登入 #金鑰檔案的許可權需要是600 #保證所有使用者對源目錄/var/www/html 都有讀取許可權 #安裝http服務 yum -y install httpd systemctl start httpd systemctl enable httpd mkdir -p /var/www/html echo “this is gcc” > /var/www/html/gcc.txt chmod +r /var/www/html/ ls -ld /var/www/html/ #以長格式顯示檔案目錄許可權 drwxr-xr-x. 2 root root 6 2月 28 09:01 /var/www/html/ #啟動 rsync 服務程式 rsync --daemon #啟動 rsync 服務，以獨立監聽服務的方式（守護程序）執行 netstat -anpt | grep rsync #關閉 rsync 服務的方法 kill $(cat /var/run/rsyncd.pid) rm -rf /var/run/rsyncd.pid
例：
四、配置rsync發起端測試備份
192.168.30.19
基本格式: rsync [選項] 原始位置 目標位置 常用選項: -r; 遞迴模式，包含目錄及子目錄中的所有檔案。 -l: 對於符號連結檔案仍然複製為符號連結檔案。. -V: 顯示同步過程的詳細(verbose) 資訊。 -z: 在傳輸檔案時進行壓縮( compress) 。 -a: 歸檔模式，保留檔案的許可權、屬性等資訊，等同於組合選項"-rlptgoD"。 -p: 保留檔案的許可權標記。 -t: 保留檔案的時間標記。 -g: 保留檔案的屬組標記(僅超級使用者使用)。 -o: 保留檔案的屬主標記(僅超級使用者使用)。 -H: 保留硬連線檔案。 -A: 保留ACL屬性資訊。 -D: 保留裝置檔案及其他特殊檔案。 --delete: 刪除目標位置有而原始位置沒有的檔案。 --checksum:根據校驗和(而不是檔案大小、修改時間)來決定是否跳過檔案。 #將指定的資源下載到本地/opt 目錄下進行備份。 格式一： rsync -avz [email protected]::wwwroot /opt/ #密碼abc123 格式二： rsync -avz rsync://[email protected]/wwwroot /opt/ #檢視同步獲取的檔案 cat /opt/gcc.txt this is gcc #免互動格式配置： cd /opt rm -rf gcc.txt echo "abc123" > /etc/server.pass chmod 600 /etc/server.pass crontab -e 30 22 * * * /usr/bin/rsync -avz --delete --password-file=/etc/server.pass [email protected]::wwwroot /opt/ systemctl restart crond systemctl enable crond
例：
客戶端測試（192.168.30.19）
免互動格式配置
設定計劃性任務
五、發起端配置 rsync+inotify
• 使用inotify通知介面，可以用來監控檔案系統的各種變化情況，如檔案存取、刪除、移動、修改等。利用這一機制，可以非常方便地實現檔案異動告警、增量備份，並針對目錄或檔案的變化及時作出響應。
• 將 inotify 機制與 rsync 工具相結合，可以實現觸發式備份（實時同步），即只要原始位置的文件發生變化，則立即啟動增量備份操作；否則處於靜默等待狀態。
• 因為 inotify 通知機制由 Linux 核心提供，因此主要做本機監控，在觸發式備份中應用時更適合上行同步。
1.修改rsync源伺服器（192.168.30.18）配置檔案
vim /etc/rsyncd.conf ...... read only = no #關閉只讀，上行同步需要可以寫 kill `cat /var/run/rsyncd.pid` netstat -natp | grep rsync rsync --daemon netstat -natp | grep rsync chmod 777 /var/www/html
例：
2.調整 inotify 核心引數（在客戶端配置：192.168.30.19）
在Linux核心中，預設的inotify機制提供了三個調控引數：max_queue_events（監控事件佇列，預設值為16384）、max_user_instances（最多監控例項數，預設值為128）、max_user_watches（每個例項最多監控檔案數，預設值為8192）。當要監控的目錄、檔案數量較多或者變化較頻繁時，建議加大這三個引數的值。
cat /proc/sys/fs/inotify/max_queued_events cat /proc/sys/fs/inotify/max_user_instances cat /proc/sys/fs/inotify/max_user_watches vim /etc/sysctl.conf fs.inotify.max_queued_events = 32768 fs.inotify.max_user_instances = 1024 fs.inotify.max_user_watches = 1048576 sysctl -p
例：
3．安裝 inotify-tools（在客戶端配置：192.168.30.19）
• 用 inotify 機制還需要安裝 inotify-tools，以便提供 inotifywait、inotifywatch 輔助工具程式。
• notifywait：可監控modify（修改）、create（建立）、move（移動）、delete（刪除）、attrib（屬性更改）等各種事件，一有變動立即輸出結果。
• inotifywatch：可用來收集檔案系統變動情況，並在執行結束後輸出彙總的變化情況。
#依賴環境 mount /dev/cdrom /mnt #掛載磁碟 yum install gcc gcc-c++ make -y #將壓縮包inotify-tools-3.14.tar.gz上傳至/opt目錄下，然後進行解壓 tar zxvf inotify-tools-3.14.tar.gz -C /opt/ cd /opt/inotify-tools-3.14 ./configure make && make install #執行“inotifywait”命令，然後在另一個終端向/var/www/html 目錄下新增檔案、移動檔案，跟蹤螢幕輸出結果。 #執行下面命令後會進入監聽模式，無法操作，所以需要另開一個終端頁面進行作 inotifywait -mrq -e modify,create,move,delete /opt #選項“-e”：用來指定要監控哪些事件 #選項“-m”：表示持續監控 #選項“-r”：表示遞迴整個目錄 #選項“-q”：簡化輸出資訊
例：
4.在客戶端（192.168.30.19）編寫觸發式同步指令碼
vim /opt/inotify.sh #!/bin/bash INOTIFY_CMD="inotifywait -mrq -e modify,create,move,delete /var/www/html/" #持續監控 RSYNC_CMD="rsync -azH --delete --password-file=/root/ggg.txt /var/www/html/ [email protected]::wwwroot" #進行同步 $INOTIFY_CMD #輸出監控內容 $INOTIFY_CMD | while read DIRECTORY EVENT FILE #遍歷 ##while判斷是否接收到監控記錄 do if [ $(pgrep rsync | wc -l) -le 0 ] ; then #判斷是否正在執行同步 $RSYNC_CMD fi done chmod +x /opt/inotify.sh chmod 777 /var/www/html chmod +x /etc/rc.d/rc.local echo '/opt/inotify.sh' >> /etc/rc.d/rc.local #加入開機自動執行 mkdir -p /var/www/html/ #建立指令碼中進行同步的目錄 #注意！192.168.30.18 是遠端同步伺服器ip(即源端IP)
例：
5.使用rsync來實現快速刪除大量檔案
假如要在linux下刪除大量檔案，比如100萬、1000萬，像/usr/ local/nginx/proxy_ temp的nginx快取等，那麼rm -rf *可能就不好使了，因為要等待很長一段時間。在這種情況下我們可以使用rsync來巧妙處理。rsync實際用的是替換原理。
先建立一個空的資料夾:
mkdir /home/blank
用rsync刪除目標目錄：
rsync --delete-before -a -H -v --progress --stats /tmp/linuxany /usr/local/nginx/proxy_temp
這樣目標目錄很快就被清空了
選項說明:
--delete-before接收者在傳輸進行刪除操作 -a歸檔模式，表示以遞迴方式傳輸檔案，並保持所有檔案屬性 -H保持硬連線的檔案 -v詳細輸出模式 --progress在傳輸時顯示傳輸過程 --stats給出某些檔案的傳輸狀態