centos inotify-rsync配置
安裝
yum -y install inotify-tools yum install rsync
innotify說明
inotify介紹-- 是一種強大的、細顆粒的、異步的文件系統監控機制，*&####&*_0_*&####&*內核從2.6.13起，加入Inotify可以監控文件系統中添加、刪除、修改移動等各種事件，利用這個內核接口，就可以監控文件系統下文件的各種變化情況。
inotifywait 參數說明
| 參數名稱 | 參數說明 |
|---|---|
| -m,–monitor | 始終保持事件監聽狀態 |
| -r,–recursive | 遞歸查詢目錄 |
| -q,–quiet | 只打印監控事件的信息 |
| –excludei | 排除文件或目錄時，不區分大小寫 |
| -t,–timeout | 超時時間 |
| –timefmt | 指定時間輸出格式 |
| –format | 指定時間輸出格式 |
| -e,–event | 後面指定刪、增、改等事件 |
inotifywait events事件說明
| 事件名稱 | 事件說明 |
|---|---|
| access | 讀取文件或目錄內容 |
| modify | 修改文件或目錄內容 |
| attrib | 文件或目錄的屬性改變 |
| close_write | 修改真實文件內容 |
| close_nowrite | |
| close | |
| open | 文件或目錄被打開 |
| moved_to | 文件或目錄移動到 |
| moved_from | 文件或目錄從移動 |
| move | 移動文件或目錄移動到監視目錄 |
| create | 在監視目錄下創建文件或目錄 |
| delete | 刪除監視目錄下的文件或目錄 |
| delete_self | |
| unmount | 卸載文件系統 |
rsync說明
在配置完rsync服務器後，就可以從客戶端發出rsync命令來實現各種同步的操作。rsync有很多功能選項，下面就對介紹一下常用的選項：
rsync的命令格式可以為：
1. rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
2. rsync [OPTION]... [USER@]HOST:SRC DEST
3. rsync [OPTION]... SRC [SRC]... DEST
4. rsync [OPTION]... [USER@]HOST::SRC [DEST]
5. rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
6. rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
rsync有六種不同的工作模式：
1. 拷貝本地文件；當SRC和DES路徑信息都不包含有單個冒號":"分隔符時就啟動這種工作模式。
2.使用一個遠程shell程序（如rsh、ssh）來實現將本地機器的內容拷貝到遠程機器。當DST路徑地址包含單個冒號":"分隔符時啟動該模式。
3.使用一個遠程shell程序（如rsh、ssh）來實現將遠程機器的內容拷貝到本地機器。當SRC地址路徑包含單個冒號":"分隔符時啟動該模式。
4. 從遠程rsync服務器中拷貝文件到本地機。當SRC路徑信息包含"::"分隔符時啟動該模式。
5. 從本地機器拷貝文件到遠程rsync服務器中。當DST路徑信息包含"::"分隔符時啟動該模式。
6. 列遠程機的文件列表。這類似於rsync傳輸，不過只要在命令中省略掉本地機信息即可。
-a 以archive模式操作、復制目錄、符號連接 相當於-rlptgoD
rsync中的參數
-r 是遞歸
-l 是鏈接文件，意思是拷貝鏈接文件；-p 表示保持文件原有權限；-t 保持文件原有時間；-g 保持文件原有用戶組；-o 保持文件原有屬主；-D 相當於塊設備文件；
-z 傳輸時壓縮；
-P 傳輸進度；
-v 傳輸時的進度等信息，和-P有點關系，自己試試。可以看文檔；
-e ssh的參數建立起加密的連接。
-u只進行更新，防止本地新文件被重寫，註意兩者機器的時鐘的同時
--progress是指顯示出詳細的進度情況
--delete是指如果服務器端刪除了這一文件，那麽客戶端也相應把文件刪除，保持真正的一致
--password-file=/password/path/file來指定密碼文件，這樣就可以在腳本中使用而無需交互式地輸入驗證密碼了，這裏需要註意的是這份密碼文件權限屬性要設得只有屬主可讀。
腳本
客戶端：
1.配置密碼文件，並設置權限
echo "rsyncuser" >> /etc/rsync.passwd chmod 600 /etc/rsync.passwd
2.腳本
#!/bin/bash src=/data/ # 需要同步的源路徑 des=data # 目標服務器上 rsync --daemon 發布的名稱 rsync_passwd_file=/etc/rsync.passwd1 # rsync驗證的密碼文件 ip1=192.168.2.107 # 目標服務器1 user=rsyncuser # rsync --daemon定義的驗證用戶名 cd ${src} # 此方法中，由於rsync同步的特性，這裏必須要先cd到源目錄，inotify再監聽 ./ 才能rsync同步後目錄結構一致，有興趣的同學可以進行各種嘗試觀看其效果 inotifywait -mrq --format ‘%Xe %w%f‘ -e modify,create,delete,attrib,close_write,move ./ | while read file # 把監控到有發生更改的"文件路徑列表"循環 do INO_EVENT=$(echo $file | awk ‘{print $1}‘) # 把inotify輸出切割 把事件類型部分賦值給INO_EVENT INO_FILE=$(echo $file | awk ‘{print $2}‘) # 把inotify輸出切割 把文件路徑部分賦值給INO_FILE echo "-------------------------------$(date)------------------------------------" echo $file #增加、修改、寫入完成、移動進事件 #增、改放在同一個判斷，因為他們都肯定是針對文件的操作，即使是新建目錄，要同步的也只是一個空目錄，不會影響速度。 if [[ $INO_EVENT =~ ‘CREATE‘ ]] || [[ $INO_EVENT =~ ‘MODIFY‘ ]] || [[ $INO_EVENT =~ ‘CLOSE_WRITE‘ ]] || [[ $INO_EVENT =~ ‘MOVED_TO‘ ]] # 判斷事件類型 then echo ‘CREATE or MODIFY or CLOSE_WRITE or MOVED_TO‘ rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} # INO_FILE變量代表路徑哦 -c校驗文件內容 #仔細看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})變量 即每次只針對性的同步發生改變的文件的目錄(只同步目標文件的方法在生產環境的某些極端環境下會漏文件 現在可以在不漏文件下也有不錯的速度 做到平衡) 然後用-R參數把源的目錄結構遞歸到目標後面 保證目錄結構一致性 fi #刪除、移動出事件 if [[ $INO_EVENT =~ ‘DELETE‘ ]] || [[ $INO_EVENT =~ ‘MOVED_FROM‘ ]] then echo ‘DELETE or MOVED_FROM‘ rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} #看rsync命令 如果直接同步已刪除的路徑${INO_FILE}會報no such or directory錯誤 所以這裏同步的源是被刪文件或目錄的上一級路徑，並加上--delete來刪除目標上有而源中沒有的文件，這裏不能做到指定文件刪除，如果刪除的路徑越靠近根，則同步的目錄月多，同步刪除的操作就越花時間。這裏有更好方法的同學，歡迎交流。 fi #修改屬性事件 指 touch chgrp chmod chown等操作 if [[ $INO_EVENT =~ ‘ATTRIB‘ ]] then echo ‘ATTRIB‘ if [ ! -d "$INO_FILE" ] # 如果修改屬性的是目錄 則不同步，因為同步目錄會發生遞歸掃描，等此目錄下的文件發生同步時，rsync會順帶更新此目錄。 then rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des}fi fi done
後臺執行
nohup /bin/bash inotify_rsync.sh >/dev/null 2>&1 &
每兩小時做1次全量同步
因為inotify只在啟動時會監控目錄，他沒有啟動期間的文件發生更改，他是不知道的，所以這裏每2個小時做1次全量同步，防止各種意外遺漏，保證目錄一致。
* */2 * * * rsync -avz --password-file=/etc/rsync.passwd /data/ [email protected]::data
服務端配置：
/etc/rsyncd.conf
uid = root gid = root use chroot = no max connections = 20 timeout = 600 pid file = /var/run/rsyncd.pid lockfile = /var/run/rsyncd.lock log file = /var/log/rsyncd.log [data] path = /data/ ignore errors = yes read only = no write only = no hosts allow = 192.168.0.0/16 hosts deny = * list = yes uid = root gid = root auth users = rsyncuser secrets file = /etc/rsync.passwd
添加用戶，配置密碼，添加認證文件，設置權限，並啟動服務
useradd rsyncuser
echo rsyncuser:rsuncuser| chpasswd
echo "rsyncuser:rsyncuser" >> /etc/rsync.passwd
chmod 600 /etc/rsync.passwd
rsync --daemon --config=/etc/rsyncd.conf
配置完成！
centos inotify-rsync配置