四.實時同步
01. 課程概念介紹
01. 為什麽要用實時同步服務
因為定時任務有缺陷，一分鐘以內的數據無法進行同步，容易造成數據丟失
02. 實時同步工作原理
a 創建要存儲數據的目錄
b 利用實時同步的軟件監控我們進行備份的數據目錄
c 利用rsync服務進行數據推送傳輸備份
02. 實時同步服務軟件部署
a inotify+rsync實現實時同步備份
第一個裏程：將inotify軟件安裝成功
yum install -y inotify-tools
說明：操作系統的yum源文件中，是否存在epel源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
[root@nfs01 ~]# rpm -ql inotify-tools
/usr/bin/inotifywait <--- 實現對數據目錄信息變化監控（重點了解的命令）
/usr/bin/inotifywatch <--- 監控數據信息變化，對變化的數據進行統計
[root@nfs01 ~]# cd /proc/sys/fs/inotify/
[root@nfs01 inotify]# ll
總用量 0
-rw-r--r-- 1 root root 0 2018-02-25 19:45 max_queued_events
-rw-r--r-- 1 root root 0 2018-02-25 19:45 max_user_instances
-rw-r--r-- 1 root root 0 2018-02-25 19:45 max_user_watches
max_user_watches: 設置inotifywait或inotifywatch命令可以監視的文件數量（單進程）
默認只能監控8192個文件
max_user_instances: 設置每個用戶可以運行的inotifywait或inotifywatch命令的進程數
默認每個用戶可以開啟inotify服務128個進程
max_queued_events: 設置inotify實例事件（event）隊列可容納的事件數量
默認監控事件隊列長度為16384
第二個裏程：將rsync守護進程模式部署完畢
rsync服務端部署
a 檢查rsync軟件是否已經安裝
b 編寫rsync軟件主配置文件
c 創建備份目錄管理用戶
d 創建備份目錄，並進行授權
e 創建認證文件，編寫認證用戶和密碼信息，設置文件權限為600
f 啟動rsync守護進程服務
rsync客戶端部署
a 檢查rsync軟件是否已經安裝
b 創建認證文件，編寫認證用戶密碼信息即可，設置文件權限為600
c 利用客戶端進行數據同步測試
第三個裏程：要讓inotify軟件和rsync軟件服務建立連接（shell腳本）
rsync軟件應用命令：
rsync -avz /etc/hosts [email protected]::backup --password-file=/etc/rsync.password
inotify軟件應用命令：
inotifywait
-m|--monitor 始終保持事件監聽狀態
-r 進行遞歸監控
-q|--quiet 將無用的輸出信息，不進行顯示
--timefmt <fmt> 設定日期的格式
man strftime 獲取更多時間參數信息
--format <fmt> 命令執行過程中，輸出的信息格式
-e 指定監控的事件信息
man inotifywait 查看所有參數說明和所有可以監控的事件信息
總結主要用到的事件信息：
create創建、delete刪除、moved_to移入、close_write修改
inotifywait -mrq --timefmt "%F" --format "%T %w%f 事件信息：%e" /data <-- 相對完整的命令應用
inotifywait -mrq --timefmt "%F" --format "%T %w%f 事件信息：%e" -e create /data <-- 指定監控什麽事件信息
inotifywait -mrq --format "%w%f" -e create,delete,moved_to,close_write /data
以上為實現實時同步過程，所需要的重要監控命令
編寫腳本：實現inotify與rsync軟件結合
#!/bin/bash
####################
inotifywait -mrq --format "%w%f" -e create,delete,moved_to,close_write /data|\
while read line
do
rsync -az --delete /data/ [email protected]::backup --password-file=/etc/rsync.password
done
shell循環語法總結：
for循環 for xx in 循環條件內容信息;do xxx;done
while循環 while 循環條件；do xx ；done <-- 只要條件滿足，就一直循環
while true；do xx ；done <-- 死循環
運維工作中編寫自動化腳本規範：
1. 先完成基本功能需求
2. 優化完善腳本內容
3. 寫上一些註釋說明信息
4. 進行反復測試
第四個裏程：最終的測試
sh -x intofy.sh
b sersync+rsync實現實時同步備份
第一個裏程：下載安裝sersync軟件
先進行軟件下載，把軟件包上傳到系統中
unzip sersync_installdir_64bit.zip
cd sersync_installdir_64bit
mv sersync /usr/local/
tree
第二個裏程：編寫sersync配置文件
[root@nfs01 sersync]# cd /usr/local/sersync/conf/
[root@nfs01 conf]# ll
總用量 4
-rw-r--r-- 1 root root 2214 2011-10-26 11:54 confxml.xml
6 <filter start="false">
7 <exclude expression="(.*)\.svn"></exclude>
8 <exclude expression="(.*)\.gz"></exclude>
9 <exclude expression="^info/*"></exclude>
10 <exclude expression="^static/*"></exclude>
11 </filter>
說明：實現同步數據過濾排除功能
12 <inotify>
13 <delete start="true"/>
14 <createFolder start="true"/>
15 <createFile start="false"/>
16 <closeWrite start="true"/>
17 <moveFrom start="true"/>
18 <moveTo start="true"/>
19 <attrib start="false"/>
20 <modify start="false"/>
21 </inotify>
說明：類似於inotify的-e參數功能，指定監控的事件信息
23 <sersync>
24 <localpath watch="/data">
25 <remote ip="172.16.1.41" name="backup"/>
26 <!--<remote ip="192.168.8.39" name="tongbu"/>-->
27 <!--<remote ip="192.168.8.40" name="tongbu"/>-->
28 </localpath>
29 <rsync>
30 <commonParams params="-az"/>
31 <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
32 <userDefinedPort start="false" port="874"/><!-- port=874 -->
33 <timeout start="false" time="100"/><!-- timeout=100 -->
34 <ssh start="false"/>
35 </rsync>
說明：以上內容是數據相關的配置信息，是必須進行修改調整配置
第三個裏程：應用sersync軟件，實現實時同步
[root@nfs01 conf]# cd /usr/local/sersync/
[root@nfs01 sersync]# cd bin/
[root@nfs01 bin]# ll
總用量 1768
-rw-r--r-- 1 root root 1810128 2011-10-26 14:19 sersync
sersync命令參數：
參數-d: 啟用守護進程模式
參數-r: 在監控前，將監控目錄與遠程主機用rsync命令推送一遍（測試）
參數-n: 指定開啟守護線程的數量，默認為10個
參數-o: 指定配置文件，默認使用confxml.xml文件
./sersync -dro /usr/local/sersync/conf/confxml.xml
03. 實時同步軟件概念介紹
inotify軟件
Inotify是一種強大的，細粒度的。異步的文件系統事件監控機制，linux內核從2.6.13起，
加入了Inotify支持，通過Inotify可以監控文件系統中添加、刪除，修改、移動等各種事件，
利用這個內核接口，第三方軟件就可以監控文件系統下文件的各種變化情況，
而inotify-tools正是實施這樣監控的軟件
軟件參考鏈接：https://github.com/rvoicilas/inotify-tools/wiki
sersync軟件
Sersync項目利用inotify與rsync技術實現對服務器數據實時同步的解決方案，
其中inotify用於監控sersync所在服務器上文件系統的事件變化，
rsync是目前廣泛使用的本地及異地數據同步工具，
其優點是只對變化的目錄數據操作，甚至是一個文件不同的部分進行同步，
所以其優勢大大超過使用掛接文件系統或scp等方式進行鏡像同步。
軟件參考鏈接：https://github.com/wsgzao/sersync
下一個章節：ssh遠程連接服務+ansible批量管理服務
四.實時同步