WWW.SyncNavigator.CN    資料同步的軟體

SyncNavigator是一款專門用於SqlServer、Mysql資料同步的軟體，由國內頂級開發團隊開發完成，經歷8年逐步完善，目前具備強大的資料同步功能，國內很多大型連鎖超市，企業，公司都在用SyncNavigator資料同步軟體進行著資料同步服務。

它可以為我們提供智慧化資料同步，對您重要的資料庫進行實時同步操作，也可以設定定時任務傳輸，即使您的來源資料庫和目標資料庫版本不一樣，表結構不一樣，甚至是欄位不一樣，SyncNavigator也可以輕鬆幫您實現高效傳輸同步。

如果來源資料庫和目標資料庫表結構，欄位一樣，那麼全部保持預設設定即可，如果是異構資料庫，只需要動動滑鼠，輕鬆繫結來源資料庫表名和欄位，一一匹配，就能完成異構資料庫實時同步。

SyncNavigator可將資料庫同步到不同版本的資料庫上，無論你的資料庫是SqlServer 2000、還是SqlServer2008，還是SqlServer2014等，或者Mysql ，SyncNavigator都能輕鬆在他們之間無縫同步。

SyncNavigator資料庫同步軟體支援斷點續傳同步功能，第一次安裝配置好基本引數之後，就完全不用管，系統會在後臺執行，開關機也不影響資料同步，系統會在下次聯網的時候繼續上次未完成的作業，在資料庫同步的過程中出現故障，也能繼續同步資料庫，並確保資料完整性。

SyncNavigator同步是採用增量資料完成的，所以同步效率很高，每次只同步新資料或者新修改的資料，實時同步基本響應速度是毫秒級的，能迅速將源資料庫產生的新資料，或者修改的資料同步到目標資料庫上，確保資料完整性。

SyncNavigator有完善的日誌、報告郵件傳送功能，能保留每一步同步的步驟，供使用者查閱，郵件提醒功能能實時提醒傳輸進度。

SyncNavigator資料庫傳輸工具可以設定每張表的傳輸順序，以免有些表對別的邊的依賴性，先傳輸導致錯誤。

SyncNavigator資料庫傳輸工具可以設定傳輸開始或者結束後執行指定指令碼或者程式碼，能實現複雜的互動功能，讓使用者更靈活的實現自己需求。

支援分散式資料同步，可以把多個數據庫資料傳輸過來進行整合，也可以同時執行多個傳輸程序。

功能特色
SyncNavigator資料庫同步軟體特點：
1.能夠快速，持續，穩定的同步所需資料庫資料。在來源資料庫資料增加，修改或者刪除後自動同步到目標資料庫。
2.完整支援 Microsoft SQL Server。完整支援 Microsoft SQL Server 2000 2005 2008 2012 2014資料庫型別。並能在不同資料庫版本之間相互穩定高效同步資料，而不會出現問題。
3.完美支援 Mysql 4.1 以上版本。支援 Mysql 4.1 5.0 5.1 5.4 5.5   6.X。並能在不同資料庫版本之間相互同步資料，也可以將SqlServer 資料庫和Mysql資料庫之間進行同步，支援同構，異構資料庫同步。
4.只需要建立一個執行計劃就能在指定時間自動進行資料庫同步。輕鬆管理同步時間以及頻率，可以按天，或者按周，實時同步等，輕鬆設定，一鍵無憂。
5.不編寫SQL語句，不使用資料庫管理工具。與同類產品相比所需資料庫經驗知識最少，傻瓜式的同步設定，大多數情況下只需要設定來源資料庫地址，帳號密碼，目標資料庫地址，帳號密碼，然後其他保持預設，點選開始同步，就能完美完成資料同步需求。

公司要搞資料平臺，首當其衝的是把舊庫的資料匯入到新庫中，原本各種資料庫大部分都提供了匯入匯出的工具，但是資料儲存到各個地方，mongdb,hbase,mysql,oracle等各種各樣的不同資料庫，同步起來頭都大了

因此最近使用了一些資料同步工具，記錄下來：

離線匯入匯出
DataX
阿里的Datax是比較優秀的產品，基於python，提供各種資料村塾的讀寫外掛，多執行緒執行，使用起來也很簡單，定義好配置json檔案執行指令碼就可以了，非常適合離線資料，增量資料可以使用一些編碼的方式實現，但是也僅僅針對insert資料比較有效，update資料就不適合。

github地址：https://github.com/alibaba/DataX

目前DataX支援的資料庫

Sqoop
http://sqoop.apache.org/

Sqoop是針對大資料而生的，專注於Hadoop(Hive)與傳統的資料庫資料的傳遞，是Hadoop生態的一員。在資料庫的支援的豐富性上不如DataX，但是如果你用hadoop，用sqoop是更好的選擇，因為做Apache的頂級專案，他背後的支援遠遠比阿里一家公司靠譜的多

Sqoop(發音：skup)是一款開源的工具，主要用於在Hadoop(Hive)與傳統的資料庫(mysql、postgresql…)間進行資料的傳遞，可以將一個關係型資料庫（例如 ： MySQL ,Oracle ,Postgres等）中的資料導進到Hadoop的HDFS中，也可以將HDFS的資料導進到關係型資料庫中。

Kettle
Kettle作為傳統ETL工具，目前也都已經有了nosql資料庫的支援，而且kettle還有圖形介面可以用，使用起來簡單多了。而且本來就是專門做ETL的，是Pentaho指定的ETL元件，對於資料清洗等處理資料的環節支援更好。但是資料效率一般，而且在生產環境也很少弄臺windows機器，適合小專案，資料量比較小的同步。

Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上執行，資料抽取高效穩定。

Kettle 中文名稱叫水壺，該專案的主程式設計師MATT 希望把各種資料放到一個壺裡，然後以一種指定的格式流出。

實時同步
實時同步最靈活的還是用kafka做中間轉發，當資料發生變化時，記錄變化到kafka，需要同步資料的程式訂閱訊息即可，需要研發編碼支援。這裡說個mysql資料庫的同步元件，阿里的canal和otter

canal
https://github.com/alibaba/canal

canal是基於mysql的binlog進行資料同步的中介軟體。簡單來說，Canal 會將自己偽裝成 MySQL 從節點（Slave），並從主節點（Master）獲取 Binlog，解析和貯存後供下游消費端使用。Canal 包含兩個組成部分：服務端和客戶端。服務端負責連線至不同的 MySQL 例項，併為每個例項維護一個事件訊息佇列；客戶端則可以訂閱這些佇列中的資料變更事件，處理並存儲到資料倉庫中。

使用的話，安裝好canal，配置好資料庫引數，再編寫一個客戶端消費canal傳過來的資料就可以了。如何使用官網寫的挺清楚了，可以直接看官網。

otter
https://github.com/alibaba/otter

otter是在canal基礎上又重新實現了可配置的消費者，使用otter的話，剛才說過的消費者就不需要寫了，而otter提供了一個web介面，可以自定義同步任務及map表。非常適合mysql庫之間的同步。

而且通過retl_buff表的監控，也可以實現一些全量資料的同步。

但是otter也有一些不好的地方，比如介面上的引數並不是所有的都有用，文件寫的一般，不是很清晰。但是想想省了好多事，還是非常好的一款中介軟體。

詳細參見官網，安裝部署研究下問題不大。
--------------------- 
作者：frog4 
來源：CSDN 
原文：https://blog.csdn.net/frog4/article/details/79624664 
版權宣告：本文為博主原創文章，轉載請附上博文連結！