1. 程式人生 > >阿里雲 數加 · DataWorks 資料同步

阿里雲 數加 · DataWorks 資料同步

資料同步

當業務資料進入阿里雲maxcomputer,我們或許需要進行一些簡單的流程化處理,比如進行資料迴流至mysql或是其他資料庫,需要建立資料同步任務。

進入dataworks2.0 控制檯

在左側資料發開中新建業務流程,我們可以在資料整合中建立資料同步任務,進行資料的雙向同步;當然我們首先確保我們已經新增資料來源,即將我們的業務資料庫地址新增至資料來源,才能到這裡建立資料同步任務,如果沒有,會有指引頁面。

 

資料同步任務建立完畢

在這裡我們可以設定 雙向資料來源,以及一些其他選項。如果要進行週期排程,需要在右側 排程配置進行設定,

欄位對映 ,可選擇需要對映欄位,可交叉選擇,重新整理可自動排版,

通道控制則是對傳輸效率進行一些控制

資料增量同

注意事項:

  • 每一個任務都可以設定排程依賴,如果此任務沒有上游依賴,則可以使用根結點,否則選擇相應的依賴節點。
  • 週期排程時間可以選擇釋出後生效,或是 T + 1 日生效
  • 無論是資料同步任務或是sql任務 完成後必須提交發布 才可生效

                  

將資料從maxcomputer中進行查詢後進行資料的同步或者資料統計結果的同步

我們需要

在圖一的資料開發中新建sql節點 當我們完成sql語句的開發,我們同樣可以設定定時任務,同樣在右側排程配置中

 

週期任務設定完成後,可以在運維中心  週期任務中進行檢視  

  • 我們可以設定資料同步依賴某一個sql節點,同樣是在排程配置中的排程依賴進行設定,將sql節點的輸出節點作為資料同步的上游節點
  • 也可以將定時的sql任務結果insert到新的資料表,再建立此表與業務表之間資料同步關係

MaxCompute開發者社群群號 : 11782920 釘釘