3 資料整合概述

​ 資料整合系統提供的穩定高效、彈性伸縮的資料同步平臺。致力於異構資料來源之間資料高速穩定的資料移動及同步能力。

一、資料的同步流程圖如下：

二、支援的資料來源型別

• 文字資料

  • Text
  • CSV
  • Json

• 關係型資料庫

  • MySQL
  • Oracle
  • SQL Server

• NoSQL

  • MongoDB

• 大資料儲存

  • ElasticSearch
  • HDFS
  • Hive
  • HBase

• 流式資料

  • Kafka
  • Flume
  • CDC

三、資料同步方式

• 資料同步

• 實時資料
  通過擴充套件kafka connector實現，具體參看《kafka connector原始碼分析》
  ​

四、資料同步模式

資料同步模式如下圖:

1. 模式的場景說明

• 一對一模式
  • 資料庫表遷移
  • 異構資料同步
• 多對一模式
  • 資料表匯聚
  • 分割槽(分庫)表資料匯聚
  • 日誌資料匯聚
• 一對多模式
  • 資料分發
• 多對多模式
  • 資料匯聚後進行分發
  • 資料庫遷移
• 複合模式
  • 複雜的資料匯聚分發場景

2. 資料同步Channel的型別

• Kafka
• Memory
• Ring Buffer環形快取區(計劃)

3. 技術路線

• 基於datax3.0原始碼改造，參看《datax原始碼分析》

原創詩詞一首

西遊記•女兒國
聖僧何苦慮多情，佛法有緣自修行。
世間若無雙全法，寧負如來不負卿。