2021年10月20日，Tapdata 創始人唐建法（TJ）受邀出席 DTCC 2021（中國資料庫技術大會）,並在企業資料中臺設計與實踐專場上，發表主旨演講“Real Time DaaS ：打造面向 TP+AP 業務的資料平臺架構”，從 AP 業務場景 vs. TP 業務場景、常見資料平臺優劣勢、如何打造面向 TP+AP 業務的資料平臺等角度，全面分享了 Tapdata 在全鏈路實時資料融合平臺的獨特技術優勢和最佳實踐案例，整場分享乾貨滿滿、廣受好評。 從20年前的傳統數倉，到10年前大資料平臺，5年前開始火熱的資料中臺以及最近出現的湖倉一體新資料平臺，企業對這些 AP 業務場景的資料產品及架構有著太多的選擇，但是實際上，企業在 TP 型別業務上的投入和 AP 相比是9：1，為什麼沒有面向 TP 業務的資料平臺呢？ 唐建法指出，之所以 TP 業務資料平臺還不多見，是因為資料孤島問題不嚴重的時候，TP 只需要一個RDBMS 就可以解決，同時由於 Technical Difficulty，缺乏合適的工具和技術架構，TP 業務資料平臺難以推廣。 TP vs. AP 不難發現，他們有著較大的差異和特點。從業務場景來看 OLTP 如常見的：在小程式上一套新的CRM、租房子（房屋租賃平臺）等，與之對應的 OLAP 場景就是：使用者行為洞察（使用者對哪些產品關注比較多，哪些產品比較賺錢）、租房客戶推薦（ 根據客戶行為打上標籤，並推薦相應的房源） ，其中 OLTP 切中的是企業核心運營價值鏈。 從技術維度來看，OLTP 要求毫秒級的資料響應速度，數百 ~ 數十萬的併發查詢量，而 OLAP 通常可接受數秒到分鐘級的資料響應速度和數個到數十個的併發查詢。在儲存方案上，OLTP 常用Oracle,MySQL,SQLServer,PostgreSQL,DB2,MongoDB,Elastic,Redis 等，而 OLAP 常用Teradata,Greenplum,Hadoop等。 既然 TP 業務場景價值更高，且需求非常明確，那麼如何打造一個面向 TP 業務的資料平臺架構？類似與IaaS，PaaS或者SaaS，Tapdata 給出的方案是提供一個 DaaS (Data as a Service)： 將企業各個業務系統的資料彙總到一箇中央化平臺，經過低程式碼方式治理以後，形成可複用的企業資料資產，通過無程式碼資料介面方式提供給業務使用方。 唐建法結合 Tapdata 在全鏈路實時資料平臺方面的實踐，重點解析了 Tapdata Real Time DaaS 架構的特點和創新點：一個“實時同步+實時處理+實時服務”三位一體的全鏈路實時資料處理及服務平臺。 DaaS 架構之一：實時資料採集同步。Tapdata 的第一步就是將批量、滯後的 ETL 換成了 CDC 方式，基於資料庫 Write Ahead Log 日誌同步監聽的方式來進行在不同系統之間的資料複製，它的優勢在於：對源庫效能影響小；資源消耗少；從事務在源端提交開始到更新寫入同步的目標庫，延遲可以小於1秒，能夠滿足對實時性要求較高的業務場景； DaaS 架構之二：基於Pipeline的流式資料處理建模。當我們把需要的資料從源庫裡面無侵入、準實時地抽取了出來之後，可能還需要：對來自多個庫的資料進行合併；對錶結構進行重構，組成新的模型；構建業務寬表等。基於 Tapdata 實時流資料處理技術，可以實現事件觸發、毫秒級資料更新、不間斷持續執行，從而滿足 TP 業務和實時分析等場景需求。 DaaS 架構之三：基於分散式資料庫 MongoDB 或 TiDB 的中間庫儲存。相比 AP 資料平臺常用的 Hadoop 大資料儲存方案， 比較成熟的分散式資料庫（MongoDB 或 TiDB）更適合作為 DaaS 的儲存方案。主要原因是 DaaS 的很大一部分能力需要直接對接業務系統，高併發，毫秒級響應是必備的能力。這種能力只有基於索引機制的分散式資料庫才可以做到。MongoDB 的模型變動靈活，非常適合多源快速融合，無需複雜關係建模。而 TiDB 的 HTAP 則能不錯的支撐一些常見的分析業務。 此外，Tapdata Real Time DaaS 還具備易整合、易拓展、低程式碼、視覺化等優勢，相比自建實時資料平臺不僅落地實施快、排錯難度低，還可以大幅降低學習成本。 最後，TJ 對 Tapdata Real Time DaaS 的主要技術場景和業務場景做了總結梳理： 如果你是一個應用架構師或者資料架構師，DaaS架構可以在以下幾方面作為選型參考：

1. 技術場景一：快速資料交付。TiDB, Neo4J，Nebula, Elastic Search, GreatDB, Dameng, 數不勝數的新型資料庫和國產資料庫品牌都在各個企業生根發芽，而每一個新資料庫場景的落地，都有可能需要獲取已有業務系統的資料。DaaS 價值：直接從 DaaS 匯入並保持持續同步，滿足實時資料更新的需求，從數週的時間縮短到數小時內完成資料交付；
2. 技術場景二：實時資料中臺。實時打通企業資料孤島，對資料進行實時採集，治理及建模，構建企業的主資料系統，為企業的互動式業務，包括客戶管理、生產運營管理等提供一個完整全面的企業資料底座。DaaS 價值：孤島資料匯聚，中央化資料儲存，去重、合併、重新建模，主資料管理，構建資料目錄，主要支撐前端互動式業務。
3. 技術場景三：實時資料大屏。為帆軟、Tableau或自研的資料視覺化平臺提供資料固化檢視，以亞秒級的效能為這些視覺化平臺供數。和傳統大屏依賴 SQL 和邏輯檢視的方案，實時大屏互動體驗無需等待，非常流暢。DaaS 價值：資料採集同步，寬表構建，統計聚合計算。
4. 技術場景四：實時數倉。將企業主資料及運營資料統一匯聚到平臺，按照數倉分層理論分成基礎資料，主資料和彙總資料層， 為企業BI、報表等提供快速的資料支撐。DaaS 價值：數資料同步，資料分層，資料目錄，分析聚合能力。
5. 技術場景五：企業資料服務平臺。企業內部部門眾多，各業務均需要獲取企業相關運營資料，通過構建一個統一的資料服務平臺，部門可以快速的獲取業務所需要的資料，並且通過API方式可以實現自助訪問。DaaS 價值：資料同步，資料目錄，API釋出，基於記憶體的資料庫，高併發查詢。

如果你更關注 DaaS 可以創造什麼樣的業務價值，以下是幾個比較常見的場景 DaaS 架構會為企業實現這些業務提供顯著的降本增效的能力：

1. 業務場景一：全渠道商品及庫存中心。大型企業往往有不同業務線，由不同IT部門支撐，並且有線上線下等不同渠道。全渠道營銷需要打通各個業務系統，將商品，客戶，訂單，庫存，會員等資訊進行統一，給最終客戶一個全渠道商品檢索，訂購和售後的最佳體驗。DaaS 價值：提客戶體驗：一站式購物；IT效率：逐漸下架傳統渠道。
2. 業務場景二：SCRM。小程式、釘釘等建立新一代客戶關懷系統或銀行推出一套新的個貸/信用卡業務等。DaaS 價值：提供完整實時的客戶資訊給前端業務，加速業務系統的上線。
3. 業務場景三：360度客戶檢視。客戶資訊在多套 CRM 系統維護，資訊不一致，更新不及時，無法有效進行 cross sale 和 upsale，客戶服務體驗差，沒有統一的入口管理客戶資訊。DaaS 價值：提高客戶體驗： 提供準確統一的客戶資訊；提高營收: 準確的客戶標籤和相應的推薦帶來更多收入。
4. 業務場景四：實時風控。銀行個貸，互金小額貸，保險等線上金融業務需要對客戶進行實時風險管控。做法是將來自於金融系統和外部系統（信用、司法、公安等）的個人資料進行統一匯聚，在申請流程中實時查詢客戶的風險資訊並提供個演算法引擎做決策。DaaS 價值：完整實時的資訊為風控提供高質量的判斷，降低壞賬率，提高營收利潤。

在分享結束後提問環節，TJ 回答了的一個常見的使用者問題：Tapdata 可以用來做資料打通，形成一個可複用的實時資料平臺，但是我們往往首要的業務訴求往往是做一些統計分析，大屏展示和運營指標。這樣的話是否合適使用 Tapdata 呢？TJ 解釋到，這些偏向於運營指標和聚合類計算的屬於相對簡單的分析場景，是完全可以在 DaaS 平臺裡完成。作為儲存的 MongoDB 自帶豐富的聚合框架計算能力，Tapdata 的流式計算也提供聚合框架，基本上可以以流式預聚合 + 資料庫聚合計算兩種技術能力支撐上述的資料場景。 相較於大資料平臺，Tapdata的方案能夠提供更加準確，更加即時的資料指標和實時分析結果。 獲取完整演講 PPT 內容，請點選：http://tapdata-user.mikecrm.com/Z1V3zoT，瞭解更多 Tapdata Real Time DaaS 相關乾貨內容請關注 Tapdata 技術部落格：https://tapdata.net/blog.html ，免費試用請點選：http://tapdata-user.mikecrm.com/IpE21eG 。 原文地址：https://tapdata.net/DTCC-speech-on-Real-Time-DaaS.html?fromColId=2