1. 程式人生 > >Centos7.4 搭建rsync+inotify 實現數據同步

Centos7.4 搭建rsync+inotify 實現數據同步

centos7.4 搭建rsync+inotify 實現數據同步


簡介

起因

因公司全部遷雲,配置ECS時需要將Web集群之間配置 數據同步 以及 會話保持,接下來配置在 linux Centos7.4版本的系統操作。

優點

使用rsync工具和inotify機制相結合,可以實現觸發式部署(實時同步),只要原始(主)位置的文檔發生變幻,則立即啟用增量推送操作,否則處於靜態等待狀態,這樣以來,就避免了分布式集群部署過程復雜的問題。

架構

項目采用springMvc+Dubbo(負載均衡集群)

這裏使用了三臺服務器

IP:39.108.227.169 服務器A
IP:39.108.227.170 服務器B
IP:39.108.227.171服務器C 主節點


技術分享


安裝配置

一、inotify-slave部署 (服務器A和B)

IP:39.108.227.169


(1)檢查是否安裝rsync工具 rpm -aq rsync

[root@lishilong]# rpm -aq rsyncrsync-3.0.9-17.el7.x86_64 
 
  
  2.安裝rsync服務
  
 yum intsall rsync -y 安裝.如圖所示:

技術分享


( 2 ) 編輯文件 vi /etc/rsyncd.conf

vim /etc/rsyncd.conf

#工作中指定用戶(可以不指定為0)

uid = 0

gid = 0


##相當於黑洞.出錯定位

use chroot = no


##有多少個客戶端同時傳文件

max connections = 200


##超時時間

timeout = 300


##進程號文件

pid file = /var/run/rsyncd.pid


##日誌文件

lock file = /var/run/rsync.lock


##日誌文件

log file = /var/log/rsyncd.log


##模塊開始

##模塊名稱隨便起(可以是多個)

[fdc]


##需要同步的目錄

path = /opt/nginx/html


##表示出現錯誤忽略錯誤

ignore errors


##表示網絡權限可寫(本地控制真正可寫)

read only = false


##這裏設置IP或讓不讓同步

list = false


##指定允許的網段

hosts allow = 39.108.227.170


##拒絕鏈接的地址,一下表示沒有拒絕的鏈接。

hosts deny = 0.0.0.0/32


##不要動的東西(默認情況)

##虛擬用戶

auth users = rsynclsl


##虛擬用戶的密碼文件

secrets file = /etc/rsync.password


註意!粘貼代碼之後!要註意(模塊名稱,同步目錄,虛擬用戶密碼文件。)


技術分享


技術分享


註意!需要在服務器創建一個用戶與 vim /etc/rsyncd.conf 虛擬用戶名一致。


操作命令如下:

useradd rsynclsl

passwd rsynclsl


cd /home 或者 vim /etc/passwd 下看到你創建的用戶


(3)配置虛擬用戶的密碼文件


[root@rsync-slave] # echo "rsynclsl:123456" >/etc/rsync.password

[rppt@rsync-slave] # cat /etc/rsync.password

rsynclsl:123456 # rsynclsl為虛擬用戶 123456為虛擬用戶密碼。

[root@rsync-slave] # chmod 600 /etc/rsync.password #為密碼提取,增加安全性。


技術分享


(4)啟動rsync 服務

[root@rsync-slave]# rsync --daemon #啟動rsync服務 或者 systemctl start rsyncd 啟動。

[root@rsync-slave]# ps -ef | grep rsync

[root@rsync-slave]# netstat -lnutp | grep rsync

技術分享


二、inotify-master配置

IP:39.108.227.170


(1)查看當前系統是否支持inotify

[root@rsync-master]# ll /proc/sys/fs/inotify

技術分享

解釋:/proc/sys/fs/inotify/max_queued_evnets

表示調用inotify_init時分配給inotify instance中可排隊的event的數目的最大值,超出這個值的事件被丟棄,但會觸發IN_Q_OVERFLOW事件。


/proc/sys/fs/inotify/max_user_instances

表示每一個real user ID可創建的inotify instatnces的數量上限。

/proc/sys/fs/inotify/max_user_watches

表示每個inotify instatnces可監控的最大目錄數量。如果監控的文件數目巨大,需要根據情況,適當增加此值的大小。

例如: echo 30000000 > /proc/sys/fs/inotify/max_user_watches


(2)下載inotify源碼包並編譯安裝

inotify是一種強大的、細粒度的、異步的文件系統事件控制機制。linux內核從2.6.13起,加入了inotify支持,通過inotify可以監控文件系統中添加、刪除、修改、移動等各種事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況,而inotify-tools正是實施監控的軟件。


註意!下載inotify安裝包可以選擇我圖上的github上下載,或者,選擇官方下載。


Github

技術分享


[root@inotify-master]# wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

[root@inotify-master]# tar zxf inotify-tools-3.14.tar.gz

[root@inotify-master]# cd inotify-tools-3.14

[root@inotify-master inotify-tools-3.14]# ./configure --prefix=/usr/local/include/

[root@inotify-master inotify-tools-3.14]# make && make install


官網:地址 https://sourceforge.net/projects/inotify-tools/


技術分享

(3)安裝 rsync安裝包可以 rpm 安裝 或者 yum 安裝。

命令如下: yum -y install rsync 即可。

(4)主節點 inotify_pay.sh 腳本 腳本如下:


技術分享


#!/bin/bash

host_slave=39.108.227.169 #inotify-slave的ip地址

master_src=/opt/nginx/html/ #本地監控的目錄

inotify_home=/usr/local/include/ #inotify的安裝目錄



${inotify_home}/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f‘ -e close_write,modify,delete,create,attrib $master_src \

| while read file


do


rsync -az --delete ${master_src} rsynclsl@${host_slave}::fdc --password-file=/etc/rsync.password


done


#註意!模塊名稱 fdc 要和vim /etc/rsyncd.conf 裏面的一致

#註意!本地監控目錄 要和vim /etc/rsyncd.conf 裏面的一致

#註意!inotify的安裝目錄 要和vim /etc/rsyncd.conf 裏面的一致

#註意!vim /etc/rsync.password 配置文件名稱要一致

#註意!!!!檢查 vim /etc/rsync.password 的權限,一定是600

(chmod 600 /etc/rsync.password)!!!


(5)後臺執行腳本

[root@inotify-master] # chmod -R 777 inotify.sh #給予最高權限或者給予相應權限!

[root@inotify-master] # ./inotify.sh


(6)測試

註意!進入你配置的監控目錄/opt/nginx/html 下創建 文件。

rsync-master下:

ip:39.108.227.170

技術分享

inotify-slave下:

ip:39.108.227.169

技術分享

補充!

這時候有的運維夥伴該問了?我想兩臺服務器都可以分別監控服務操作?

答: 可以兩臺服務器都互相配置相同的操作,就可以互相監控了!例:如圖所示:

技術分享


總結!這個數據同步並不難,難在腳本,配置文件寫錯了,要多註意!


本文出自 “李世龍” 博客,謝絕轉載!

Centos7.4 搭建rsync+inotify 實現數據同步