1. 程式人生 > 其它 >用一個麵點加工廠來類比理解什麼是資料中臺

用一個麵點加工廠來類比理解什麼是資料中臺

用一個麵點加工廠來類比理解什麼是資料中臺

資料中臺的概念比較抽象,不同的公司不同的業務,各自說的資料中臺,在具體業務呈現上,差異很大。

這就導致我們在理解和溝通資料中臺的時候,互相之間不容易溝通明白對方說的是什麼。

我試圖用類比的方法,對資料中臺,就我自己的理解,做一個梳理。也許有很多對的地方,敬請拍磚,感謝。


一個公司的資料中臺是和公司的業務緊密整合和聯絡的系統,資料中臺首先面要向公司內部的業務部門,產品部門,技術部門等去使用。


我用類比的方法,來輔助理解一下什麼是資料中臺。我把資料中臺理解為一個麵點加工廠。

麵點加工廠(類比:資料中臺)
  麵點加工廠需要進貨,進的貨可能有面粉,玉米粉,紅薯粉,奶粉,奶油,甚至包括更多的其他的已知的和未知的原料。
  麵點加工廠根據進來的貨物,分類進行儲存和管理。
  面單加工廠根據業務部門(銷售部門,產品部門等)的需求,在技術部門的協助下,生產符合業務部門需求的新產品。

原材料(類比:資料)
  對應的我們品泰而言,我們可以把這些原材料理解為資料中臺中的各種資料。
  這些資料可能包括來自his的資料,來自體檢中心的資料,來自衛健委公衛系統的資料,甚至更多來自其他外部系統的資料。
  這裡,那麼我們可以把his資料可以理解為麵粉,體檢中心的資料理解為玉米粉,公衛系統資料理解位奶粉。

管道系統(類比:資料管道)
  這些資料原料,怎麼進入我們的資料中臺呢?
  通過我們的管道系統,匯入到我們的資料中臺裡面來。那麼這個管道系統就是我們的資料匯流排(datatrans暫且這麼稱呼)。
  目前而言,我們的datatrans只是實現了對部分his系統的連線和資料匯入,可以理解為這個管道系統中的其中一個管道已經通了。
  但是對公衛系統的管道還沒通(沒有建設),對體檢中心的管道也還沒有建設。這些異構系統的管道,需要單獨建設和開發。

原料清洗(資料清洗和歸納儲存)
  有可能對接進來的原材料含有雜質,那麼就需要資料中臺具備能力,對新進入的各種型別的資料,可以進行資料清洗,並且合理的歸納儲存。

業務部門的需求(類比:業務需求)
  業務部門的需求,肯定會跟隨市場的需求的變化而變化。
  業務部門可能知道市場上目前現有的主要市場需求是什麼,但是也可能並不知道某個其他市場主體的個性化需求是什麼。
  舉例來說:
  業務一部知道,現在市場上大部分的客戶主體,都需要饅頭這種麵點,而且所需要的饅頭是圓形的直徑10cm,重量為100克的饅頭。
  但是業務二部是新成立的部門,面向的客戶群假設是某企業。但是業務部門在和這個企業溝通後,發現企業需要的產品是:奶香味的玉米粉方形50克的饅頭。可是這種饅頭,麵點加工廠中並沒有,甚至生產這種饅頭的生產線都沒有建設起來。
  同樣的,假設有個業務三部,而業務三部的新客戶的需求更加奇葩。他要的是綠豆粉做的奶香味的麻辣味的綠豆糕(怪味綠豆糕)。可是這種東西,原材料在當前麵點加工廠中都還不具備。

麵點加工廠(類比:資料中臺)生產產品
  對於業務一部,他們通知麵點加工廠,你給我生產這種規格的圓形的直徑10cm,重量為100克的饅頭。。饅頭加工廠就到原料中去獲取麵粉和水,來生產這種規格的饅頭。然後交給市場部門去銷售。
  對於業務二部,他們告訴麵點加工廠這個需求後,麵點加工廠的生產運營部門在其內部,在技術部門的協助下,很快迅速的搭建起一條生產線(新的產品生產模組),把奶粉,玉米粉,水等揉和到一起, 迅速的產出了奶香味的玉米粉方形50克的饅頭。並快速的交付給業務二部。從而迅速的滿足業務部門和客戶的實際需求。
  對於業務三部,這時候,麵點加工廠就需要和管道系統迅速溝通,管道系統迅速的和綠豆粉的廠家進行管道對接,和麻辣粉的廠家進行對接。迅速的將這些新的原料匯入到麵點加工廠中來,並且按規則存 放好位置。然後麵點加工廠的運營生產部門,通過麵點加工廠中現有的裝置(系統的功能),迅速的整合原材料和加工需求,生產出業務三部所需要的新產品,怪味綠豆糕,迅速的交付給新客戶。


小結:資料中臺的能力
1、具備快速對接外部資料來源的能力
2、具備快速的準確的資料清洗和資料歸納整理的能力。
3、具備快速響應業務部門需求,靈活組建出各種型別資料輸出,以及完整資料業務流程的能力。
4、具備快速的定製全新業務資料或者全新業務流程的能力。

對應到我們公司的資料中臺,則初步可以理解為,我們的資料中臺應具備下列能力:
1、可以快速的實現對外部資料來源系統的對接。對接的主體是datatrans,具體對接形式,可以有jdbc直連,webservice對接,remote-json-api對接等等形式。
2、可在資料中臺內部,可以定義各種資料的清洗規則,存放規則,存放位置等等。
3、可在資料中臺內部,自定義各種新的資料報表,自定義全新的基於已有資料的業務流程。所有這些自定義的過程,應該儘可能是在介面上滑鼠及鍵盤操作就能滿足和實現。
4、可以講資料中臺中,自定義的各種資料輸出,可以輕鬆的提供給外部系統進行訪問。並且具備嚴格的訪問許可權限制。
5、基於資料中臺,還能實現更多現有思考範圍之外的能力,資料中臺具備超強的資料和功能擴充套件的能力。所有這些能力的實現,是基於資料中臺軟體系統的開發。

一點心得,敬請拍磚,歡迎指正。

Alex([email protected])