幾大實時同步工具比較

阿新 • • 發佈：2019-01-06

1.1 inotify + rsync

最近一直在尋求生產服務伺服器上的同步替代方案，原先使用的是inotify + rsync，但隨著檔案數量的增大到100W+，目錄下的檔案列表就達20M，在網路狀況不佳或者限速的情況下，變更的檔案可能10來個才幾M，卻因此要傳送的檔案列表就達20M，嚴重減低的頻寬的使用效率以及同步效率；更為要緊的是，加入inotifywait在5s內監控到10個小檔案發生變化，便會觸發10個rsync同步操作，結果就是真正需要傳輸的才2-3M的檔案，比對的檔案列表就達200M。使用這兩個組合的好處在於，它們都是最基本的軟體，可以通過不同選項做到很精確的控制，比如排除同步的目錄，同步多個模組或同步到多個主機。

1.2 sersync

後來聽同事說 sersync 這麼個工具可以提高同步的效能，也解決了同步大檔案時出現異常的問題，所以就嘗試了一下。sersync是國內的一個開發者開源出來的，使用c++編寫，採用多執行緒的方式進行同步，失敗後還有重傳機制，對臨時檔案過濾，自帶crontab定時同步功能。網上看到有人說效能還不錯，說一下我的觀點：

國產開源，文件不是很全，在2011年之後就沒更新了（googlecode都要快關閉了，其實可以轉交其他人維護），網上關於它的使用和討論都止於10年了
採用xml配置檔案的方式，可讀性比較好，但是有些原生的有些功能沒有實現就沒法使用了
無法實現多目錄同步，只能通過多個配置檔案啟動多個程序

檔案排除功能太弱。這個要看需求，不是每個人都需要排除子目錄。而對於我的環境中，這個功能很重要，而且排除的規則較多
雖然提供外掛的功能，但很雞肋，因為軟體本身沒有持續更新，也沒有看到貢獻有其它外掛出現（可能是我知識面不夠，還用不到裡面的refreshCDN plugin）。

雖然不懂c++，但大致看了下原始碼 FileSynchronize，拼接rsync命令大概在273行左右，最後一個函式就是排除選項，簡單一點可以將--exclude=改成--eclude-from來靈活控制。有機會再改吧。

另外，在作者的文章 Sersync伺服器同步程式專案簡介與設計框架評論中，說能解決上面 rsync + inotify

中所描述的問題。閱讀了下原始碼，這個應該是沒有解決，因為在拼接rsync命令時，後面的目的地址始終是針對module的，只要執行rsync命令，就會對整個目錄進行遍歷，傳送要比對的檔案列表，然後再發送變化的檔案。sersync只是減少了監聽的事件，減少了rsync的次數——這已經是很大的改進，但每次rsync沒辦法改變。（如有其它看法可與我討論）

其實我們也不能要求每一個軟體功能都十分健全，關鍵是看能否滿足我們當下的特定的需求。所謂好的架構不是設計出來的，而是進化來的。目前使用sersync2沒什麼問題，而且看了它的設計思路應該是比較科學的，特別是過濾佇列的設計。雙向同步看起來也是可以實現。

1.3 lsyncd

廢話說這麼多，本文就是介紹它了。有些部落格說lsyncd是谷歌開源的，實際不是了，只是託管在了googlecode上而已，幸運的是已經遷移到github了：https://github.com/axkibe/lsyncd 。

Lysncd 實際上是lua語言封裝了 inotify 和 rsync 工具，採用了 Linux 核心（2.6.13 及以後）裡的 inotify 觸發機制，然後通過rsync去差異同步，達到實時的效果。我認為它最令人稱道的特性是，完美解決了 inotify + rsync海量檔案同步帶來的檔案頻繁傳送檔案列表的問題 —— 通過時間延遲或累計觸發事件次數實現。另外，它的配置方式很簡單，lua本身就是一種配置語言，可讀性非常強。lsyncd也有多種工作模式可以選擇，本地目錄cp，本地目錄rsync，遠端目錄rsyncssh。

實現簡單高效的本地目錄同步備份（網路儲存掛載也當作本地目錄），一個命令搞定。

2. 使用 lsyncd 本地目錄實時備份

這一節實現的功能是，本地目錄source實時同步到另一個目錄target，而在source下有大量的檔案，並且有部分目錄和臨時檔案不需要同步。

2.1 安裝lsyncd

安裝lsyncd極為簡單，已經收錄在ubuntu的官方映象源裡，直接通過apt-get install lsyncd就可以。
在Redhat系（我的環境是CentOS 6.2 x86_64 ），可以手動去下載 lsyncd-2.1.5-6.fc21.x86_64.rpm，但首先你得安裝兩個依賴yum install lua lua-devel。也可以通過線上安裝，需要epel-release擴充套件包：

# rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
# yum install lsyncd

原始碼編譯安裝
從原始碼編譯安裝可以使用最新版的lsyncd程式，但必須要相應的依賴庫檔案和編譯工具：yum install lua lua-devel asciidoc cmake。

從 googlecode lsyncd 上下載的lsyncd-2.1.5.tar.gz，直接./configure、make && make install就可以了。

從github上下載lsyncd-master.zip 的2.1.5版本使用的是 cmake 編譯工具，無法./configure：

# uzip lsyncd-master.zip
# cd lsyncd-master
# cmake -DCMAKE_INSTALL_PREFIX=/usr/local/lsyncd-2.1.5
# make && make install

我這個版本編譯時有個小bug，如果按照INSTALL在build目錄中make，會提示：

[100%] Generating doc/lsyncd.1
Updating the manpage
a2x: failed: source file not found: doc/lsyncd.1.txt
make[2]: *** [doc/lsyncd.1] Error 1
make[1]: *** [CMakeFiles/manpage.dir/all] Error 2
make: *** [all] Error 2

解決辦法是要麼直接在解壓目錄下cmake，不要mkdir build，要麼在CMakeList.txt中搜索doc字串，在前面加上${PROJECT_SOURCE_DIR}。

2.2 lsyncd.conf

下面都是在編譯安裝的情況下操作。

2.2.1 lsyncd同步配置

# cd /usr/local/lsyncd-2.1.5
# mkdir etc var
# vi etc/lsyncd.conf
settings {
    logfile      ="/usr/local/lsyncd-2.1.5/var/lsyncd.log",
    statusFile   ="/usr/local/lsyncd-2.1.5/var/lsyncd.status",
    inotifyMode  = "CloseWrite",
    maxProcesses = 7,
    -- nodaemon =true,
    }

sync {
    default.rsync,
    source    = "/tmp/src",
    target    = "/tmp/dest",
    -- excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
    rsync     = {
        binary    = "/usr/bin/rsync",
        archive   = true,
        compress  = true,
        verbose   = true
        }
    }

到這啟動 lsycnd 就可以完成實時同步了，預設的許多引數可以滿足絕大部分需求，非常簡單。

2.2.2 lsyncd.conf配置選項說明

settings
裡面是全域性設定，--開頭表示註釋，下面是幾個常用選項說明：

logfile 定義日誌檔案
stausFile 定義狀態檔案
nodaemon=true 表示不啟用守護模式，預設
statusInterval 將lsyncd的狀態寫入上面的statusFile的間隔，預設10秒
inotifyMode 指定inotify監控的事件，預設是CloseWrite，還可以是Modify或CloseWrite or Modify
maxProcesses 同步程序的最大個數。假如同時有20個檔案需要同步，而maxProcesses = 8，則最大能看到有8個rysnc程序
maxDelays 累計到多少所監控的事件啟用一次同步，即使後面的delay延遲時間還未到

sync
裡面是定義同步引數，可以繼續使用maxDelays來重寫settings的全域性變數。一般第一個引數指定lsyncd以什麼模式執行：rsync、rsyncssh、direct三種模式：

default.rsync ：本地目錄間同步，使用rsync，也可以達到使用ssh形式的遠端rsync效果，或daemon方式連線遠端rsyncd程序；
default.direct ：本地目錄間同步，使用cp、rm等命令完成差異檔案備份；
default.rsyncssh ：同步到遠端主機目錄，rsync的ssh模式，需要使用key來認證
source 同步的源目錄，使用絕對路徑。
target 定義目的地址.對應不同的模式有幾種寫法：
/tmp/dest ：本地目錄同步，可用於direct和rsync模式
172.29.88.223:/tmp/dest ：同步到遠端伺服器目錄，可用於rsync和rsyncssh模式，拼接的命令類似於/usr/bin/rsync -ltsd --delete --include-from=- --exclude=* SOURCE TARGET，剩下的就是rsync的內容了，比如指定username，免密碼同步
172.29.88.223::module ：同步到遠端伺服器目錄，用於rsync模式
三種模式的示例會在後面給出。
init 這是一個優化選項，當init = false，只同步程序啟動以後發生改動事件的檔案，原有的目錄即使有差異也不會同步。預設是true
delay 累計事件，等待rsync同步延時時間，預設15秒（最大累計到1000個不可合併的事件）。也就是15s內監控目錄下發生的改動，會累積到一次rsync同步，避免過於頻繁的同步。（可合併的意思是，15s內兩次修改了同一檔案，最後只同步最新的檔案）
excludeFrom 排除選項，後面指定排除的列表檔案，如excludeFrom = "/etc/lsyncd.exclude"，如果是簡單的排除，可以使用exclude = LIST。
這裡的排除規則寫法與原生rsync有點不同，更為簡單：
- 監控路徑裡的任何部分匹配到一個文字，都會被排除，例如/bin/foo/bar可以匹配規則foo
- 如果規則以斜線/開頭，則從頭開始要匹配全部
- 如果規則以/結尾，則要匹配監控路徑的末尾
- ?匹配任何字元，但不包括/
- *匹配0或多個字元，但不包括/
- **匹配0或多個字元，可以是/
delete 為了保持target與souce完全同步，Lsyncd預設會delete = true來允許同步刪除。它除了false，還有startup、running值，請參考 Lsyncd 2.1.x ‖ Layer 4 Config ‖ Default Behavior。

rsync
（提示一下，delete和exclude本來都是rsync的選項，上面是配置在sync中的，我想這樣做的原因是為了減少rsync的開銷）

bwlimit 限速，單位kb/s，與rsync相同（這麼重要的選項在文件裡竟然沒有標出）
compress 壓縮傳輸預設為true。在頻寬與cpu負載之間權衡，本地目錄同步可以考慮把它設為false
perms 預設保留檔案許可權。
其它rsync的選項

其它還有rsyncssh模式獨有的配置項，如host、targetdir、rsync_path、password_file，見後文示例。rsyncOps={"-avz","--delete"}這樣的寫法在2.1.*版本已經不支援。

lsyncd.conf可以有多個sync，各自的source，各自的target，各自的模式，互不影響。

2.3 啟動lsyncd

使用命令載入配置檔案，啟動守護程序，自動同步目錄操作。

lsyncd -log Exec /usr/local/lsyncd-2.1.5/etc/lsyncd.conf

2.4 lsyncd.conf其它模式示例

以下配置本人都已經過驗證可行，必須根據實際需要裁剪配置：

settings {
    logfile ="/usr/local/lsyncd-2.1.5/var/lsyncd.log",
    statusFile ="/usr/local/lsyncd-2.1.5/var/lsyncd.status",
    inotifyMode = "CloseWrite",
    maxProcesses = 8,
    }


-- I. 本地目錄同步，direct：cp/rm/mv。 適用：500+萬檔案，變動不大
sync {
    default.direct,
    source    = "/tmp/src",
    target    = "/tmp/dest",
    delay = 1
    maxProcesses = 1
    }

-- II. 本地目錄同步，rsync模式：rsync
sync {
    default.rsync,
    source    = "/tmp/src",
    target    = "/tmp/dest1",
    excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
    rsync     = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        bwlimit   = 2000
        } 
    }

-- III. 遠端目錄同步，rsync模式 + rsyncd daemon
sync {
    default.rsync,
    source    = "/tmp/src",
    target    = "[email protected]::module1",
    delete="running",
    exclude = { ".*", ".tmp" },
    delay = 30,
    init = false,
    rsync     = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        verbose   = true,
        password_file = "/etc/rsyncd.d/rsync.pwd",
        _extra    = {"--bwlimit=200"}
        }
    }

-- IV. 遠端目錄同步，rsync模式 + ssh shell
sync {
    default.rsync,
    source    = "/tmp/src",
    target    = "172.29.88.223:/tmp/dest",
    -- target    = "[email protected]:/remote/dest",
    -- 上面target，注意如果是普通使用者，必須擁有寫許可權
    maxDelays = 5,
    delay = 30,
    -- init = true,
    rsync     = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        bwlimit   = 2000
        -- rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no"
        -- 如果要指定其它埠，請用上面的rsh
        }
    }

-- V. 遠端目錄同步，rsync模式 + rsyncssh，效果與上面相同
sync {
    default.rsyncssh,
    source    = "/tmp/src2",
    host      = "172.29.88.223",
    targetdir = "/remote/dir",
    excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
    -- maxDelays = 5,
    delay = 0,
    -- init = false,
    rsync    = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        verbose   = true,
        _extra = {"--bwlimit=2000"},
        },
    ssh      = {
        port  =  1234
        }
    }

上面的內容幾乎涵蓋了所有同步的模式，其中第III個要求像rsync一樣配置rsyncd服務端，見本文開頭。第IV、V配置ssh方式同步，達到的效果相同，但實際同步時你會發現每次同步都會提示輸入ssh的密碼，可以通過以下方法解決：

在遠端被同步的伺服器上開啟ssh無密碼登入，請注意使用者身份：

user$ ssh-keygen -t rsa
一路回車...
user$ cd ~/.ssh
user$ cat id_rsa.pub >> authorized_keys

把id_rsa私鑰拷貝到執行lsyncd的機器上

user$ chmod 600 ~/.ssh/id_rsa
測試能否無密碼登入
user$ ssh user@172.29.88.223

3. lsyncd的其它功能

lsyncd的功能不僅僅是同步，官方手冊 Lsyncd 2.1.x ‖ Layer 2 Config ‖ Advanced onAction 高階功能提到，還可以監控某個目錄下的檔案，根據觸發的事件自己定義要執行的命令，example是監控某個某個目錄，只要是有jpg、gif、png格式的檔案引數，就把它們轉成pdf，然後同步到另一個目錄。正好在我運維的一個專案中有這個需求，現在都是在java程式碼裡轉換，還容易出現異常，通過lsyncd可以代替這樣的功能。但，門檻在於要會一點點lua語言（根據官方example還是可以寫出來）。

另外偶然想到個問題，同時設定了maxDelays和delay，當監控目錄一直沒有檔案變化了，也會發生同步操作，雖然沒有可rsync的檔案。

TO-DO：

其它同步工具：csync2，clsync，btsync，drdb 。

幾大實時同步工具比較

1.1 inotify + rsync

1.2 sersync

1.3 lsyncd

2. 使用 lsyncd 本地目錄實時備份

2.1 安裝lsyncd

2.2 lsyncd.conf

2.2.1 lsyncd同步配置

2.2.2 lsyncd.conf配置選項說明

2.3 啟動lsyncd

2.4 lsyncd.conf其它模式示例

3. lsyncd的其它功能

幾大實時同步工具比較

lsyncd實時同步工具

lsync目錄文件實時同步工具

幾大圖片載入框架比較

國內外的幾大主流瀏覽器效能比較

國內大資料開發中比較受歡迎的幾款工具

【乾貨】國內大資料開發中比較受歡迎的幾款工具

如何鑑定網投真人實體現場同步線上平臺的幾大要素

原始碼剖析AQS在幾個同步工具類中的使用

玩轉大資料視覺化的幾個必會工具，你認識幾個？

輸入幾個正整數，求怎麼組合這幾個正整數的值最大（快排+比較器）

Android 熱修復原理篇及幾大方案比較

SODBASE實時大資料基礎（一）：實時同步Mysql資料庫到Kafka

熱修復系列之一----Android 熱修復原理篇及幾大方案比較

資料實時同步或抽取上收的技術分析(社保、電力營銷、財政、稅務徵管、公安警務等地市資料省級大集中應用/異地災備)

幾種常見程式碼管理工具比較(2009)

常用幾大技術社群及工具網站，你常逛麼？

叢集中幾種session同步解決方案的比較

oracle 的幾個開發工具比較

MariaDB 幾種熱備同步方式比較

幾大實時同步工具比較

1.1 inotify + rsync

1.2 sersync

1.3 lsyncd

2. 使用 lsyncd 本地目錄實時備份

2.1 安裝lsyncd

2.2 lsyncd.conf

2.2.1 lsyncd同步配置

2.2.2 lsyncd.conf配置選項說明

2.3 啟動lsyncd

2.4 lsyncd.conf其它模式示例

3. lsyncd的其它功能

相關推薦