spring boot 連線mongoDB
早幾天我看到了資料中臺這個名詞,上百度看了很多部落格,還是覺得下面這個文章說的不錯!
近幾年以來,朋友圈、微博、技術論壇全網掛起了中臺的熱潮,下圖是百度統計給出的趨勢圖。那麼中臺未來是會成為主流發展方向,還是曇花一現只是一個熱門話題呢?我希望先從“中臺”這個名詞的來源開始,或許會有一個更加理性的認識。
起初就是那個名為supercell的公司,馬雲去拜訪,覺得為什麼人家只有300人卻能創造出這麼巨大的利潤?CEO要求員工不要被流程和管理機制束縛,給每個小團隊足夠的決策權。而且由於資源稀缺,每個小團隊可以更加聚焦手中的資源,選擇做最重要的事情。
後來大概在2015年的時候,“資料中臺”的概念由阿里巴巴於首次提出。阿里巴巴認為,資料中臺是集方法論、工具、組織於一體的“快”、“準”、“全”、“統”、“通”的智慧大資料體系。
說不定某個陽光明媚的早晨,你正在刷著手機網上衝浪,老闆忽然衝進辦公室,語重心長跟你們說 —— 我們要搞資料中臺!
01、背景
專案有很多對內/對外/輔助,但無論專案內部的如何複雜,大體的結構都是 “使用者前臺”和“管理後臺”。
使用者前臺
前臺即指由各類前臺系統組成的前端平臺。每個前臺系統就是一個使用者觸點,即企業的終端使用者直接使用或互動的系統,是企業與終端使用者的交點。比如:
管理後臺
後臺即指由後臺系統組成的後端平臺。每個後臺系統一般管理了企業的一類核心資源(資料計算),例如財務系統,產品系統,客戶管理系統,倉庫物流管理系統等,這類系統構成了企業的後臺。比如:
使用者前臺、管理後臺的關係
前臺與後臺就像是兩個不同轉速的齒輪,前臺由於要快速響應前端使用者的需求,講究的是快速創新迭代,所以要求轉速越快越好;而後臺由於面對的是相對穩定的後端資源,而且系統陳舊複雜,甚至還受到法律法規等相關合規約束,所以往往是穩定至上,越穩定越好,轉速也自然是越慢越好。
隨著企業務的不斷髮展,這種“前臺後臺”的齒輪速率“匹配失衡”的問題就逐步顯現出來。而中臺就像是在前臺與後臺之間添加了一組“變速齒輪”,將前臺與後臺的速率進行匹配,是前臺與後臺的橋樑,它為前臺而生,易於前臺使用,將後臺資源順滑流向使用者,響應使用者。
02、中臺的種類
我們按照難易程度倒序逐一論述。
技術中臺
技術中臺(基礎服務中臺)說白了就是強調資源整合、能力沉澱的平臺體系,當技術前臺實現業務功能時,為他們提供底層的技術、資料等資源和能力的支援。
各公司的基礎服務,以賬號體系為代表,都已經是中臺化的了。淘寶、天貓、飛豬等業務之間,快車、專車、順風車等業務之間,美團外賣、酒旅、團購之間,必然要做打通。
資料中臺
“資料中臺”並不是一個專業術語,簡單來說,它是指通過資料技術,對海量資料進行採集、計算、儲存、加工,且進行統一標準和口徑,以達到對企業的資料資產進行管理及應用為目的的平臺。資料中臺把資料統一後,形成標準資料,再進行儲存,形成大資料資產層,進而為客戶提供高效服務。
各業務線的資料打通、資料共享和協同運用,則屬於業務中臺的範疇,是以業務目標牽頭的(比如阿里的88VIP會員的前提就是使用者資料打通)。
有時這兩者是耦合在一起的,既有技術能力的共享,又有業務支撐。不過在國內資料分析的認知還比較淺(認為資料都是拉報表的),後者往往效果不佳。前者在不少網際網路公司倒是確實落地了。
在有些公司,資料中臺只是很粗淺地把資料整合到一起,並沒有解決任何問題,或者讓整合產生什麼價值。阿里雲中間件架構總監謝純良曾經說過,許多公司的資料中臺就是把資料加工成“大屏”,搞一個展示用的“大屏”就以為實現了中臺。意思就是,資料中臺如果不為業務服務,或者說為業務中臺服務,那就沒有價值。
業務中臺
既然技術模組可以抽象出來複用,那業務模組是不是也可以?在淘寶時用過的營銷策略,能不能直接挪到飛豬用?專車的策略能不能直接給快車用?這就是業務中臺的概念。
很顯然的,由於業務存在更高複雜度,因此難度更大。
業務中臺是各大公司追求的最終效果:前臺業務敏捷推進,後臺業務穩固支援。不過真實情況往往事與願違,難盡人意,真正做到業務中臺運轉良好的,很少見。
組織中臺
事實上,有一大部分人認為當前所謂“中臺建設”,無論是研發中臺、演算法中臺、技術中臺、子業務中臺等,都更應該被歸類為業務(類)中臺建設。如果要走向平臺型組織,必須要建設另外一種中臺——組織中臺,即由後臺丟擲的“機構化業務夥伴”,由人力BP、財務BP、戰略BP組成的“類投資團隊”角色。其實就是嫁接在前三種中臺基礎上,再加入“放權機制”的中臺結構。
整體來看,組織中臺做的事情依然是賦能和激勵。BP團隊就是使用者和前臺團隊之間的連線者。他們代表企業家(或公司的股東),一次次地把前臺團隊從不切實際的夢想中拉回現實,讓他們直面使用者需求,合理地分配資源,沿著最佳的路徑前進,一路升級打怪,直至抵達最終的目標(如上市退出)。
組織中臺擁有的是“激勵的指揮棒”和“賦能的方法論”:運用前者讓前臺團隊動起來,並看到自己前進中所缺少的能力;運用後者則是補齊這些能力,讓他們走得更順利。總結起來,就是“激勵開路,賦能加持”。
03、資料中臺的基本能力
1、資料中臺具有資料服務的能力
資料中臺幫助業務部門建立工作臺,通過工作臺可以快速獲取到資料相關服務,包括資料提取、資料分析、資料推送、資料迴流等服務;資料中臺可以將髒亂差的資料進行加工、治理、切分、建模、打標籤等。
2、資料中臺可以使業務人員具備資料應用開發的能力
業務人員可以根據自己業務單元的需求,做深度的應用開發,比如精準、智慧、智慧等相關應用,這些應用可以獨立變成產品。
3、資料中臺具有強大的海量資料處理能力
資料中臺對資料治理能力、融合能力、採集能力、同步能力等為資料應用提供了強大的基礎支援。無論企業生產、運營、消費者溯源、供應商維護、外部公共資料等不同維度的資料,資料中臺都可以通過不同的功能實現資料的打通、共享。
由於不同的業務場景需要不同規模的計算平臺來處理海量資料。資料中臺的建設幫助業務人員根據應用需求隨時排程計算能力。
4、資料中臺具有資料開發的能力
資料中臺中分析工具、挖掘工具、清洗工具等不同資料工具的設定可以幫助上下游企業和外部使用者直接開發應用。資料中臺可以將上下游工具進行傻瓜式包裝,比如應用開發、應用複製、應用使用、應用評價、應用分享等功能的設定,幫助企業不同領域的使用者實現資料共享、應用共享。
5、資料中臺具備自學習和自動完善的能力
資料中臺賦能業務人員的特性決定了其具有自學習的能力。中臺可以通過不斷的能力疊加,將資料和公司資產進行良性的迴圈和迴流,賦能企業業務和技術部門,為企業建成一個具有滾動的、增長的、變化的自學習能力平臺。
6、資料中臺具有資產沉澱能力
使用者在使用資料的過程中會自動地沉澱出高價值的資料,通過資料中臺的融通能力,將這些有價值的資料進行良性的迴圈與迴流。企業因此對自身的使用者資料、會員資料、人力資料等認識加深。這樣的沉澱能力可以為公司提高核心競爭力。另外,公司內部高價值的資產,比如模型資產、IT資產、DT資產、資料資產、應用資產,以及應用資產中的使用者資產、畫像資產等均可以通過中臺沉澱下來,為公司日後的應用提供更多的支援。長期以往的沉澱幫助公司建立核心競爭力,使企業在數字化轉型中先行一步,快速佈局數字化市場競爭。
7、資料中臺具有資料質量自動跟蹤的能力
資料在使用過程中往往有多部門多角色參與,各個部門會定義多種多樣的資料指標、標籤和使用方式,長期以往資料治理體系將會越來越複雜。一旦資料無法跟蹤,會導致前端的資料應用出錯,最終使得企業決策失誤,付出較大代價。資料中臺可以避免以上問題的出現,資料質量智慧追蹤和血緣分析會跟蹤資料的血緣系統,確保資料質量。
8、資料中臺具備資料融合打通的能力
隨著企業業務多變,資料互聯互通變得越來越重要。資料中臺將資料定義和意義保持一致,使資料真正實時打通。
9、資料中臺具有IT系統和DT系統風險隔離的能力
IT系統在企業資料採集、管理方面發揮著作用。業務需求變化快,而IT系統卻無法隨著DT系統變化,DT系統有著自身存在的意義。兩個系統的目標、定位不同,必然導致資料應用出現分歧。資料中臺的建立可以幫助企業對資料進行風險隔離,確保一方不影響另一方。
04、資料中臺的特徵
一直以來,企業的BI資料管理跟IT是緊捆綁的,但跟公司的戰略、業務脫節非常厲害,很多企業幾乎沒有想過企業獲取利潤跟資料管理有多少直接的關係。企業有投資,有費用,反正屬於IT要乾的事就去幹吧,大家都在做,我們當然也要做,在我剛開始做元資料管理的時候,就是這個感覺,從沒想到這個東西跟企業的利潤有半毛錢關係。
做了怎麼樣?不做了又怎麼樣?我們甚至連自己都騙不過。直到開始做大資料,當商務、開發必須緊密銜接的時候,當發現某個資料問題已經導致變現困難的時候,才感覺到資料管理的真正價值,才知道自己的資料管理工作該幹什麼。
那一個“好”的資料中臺應該具備什麼特徵呢?
1、全流程、一體化。要實現從資料資產層、大資料計算層、資料治理層、資料工具層、資料模型層、資料應用層一站式處理流程,實現資料由入到出的全流程服務。
2、行業落地靈活,幫助新零售、教育、金融、製造業、政府等不同行業客戶解決資料融通、業務提升等問題,實現資料中臺在不同行業的靈活落地。
3、合作多元化,可滿足不同場景下客戶需求,可提供定製服務,可以以提供標準化產品、定製化服務等。
看到這裡,你是否對資料中臺已經有了一個較為清晰的認知?事實上,不論是哪個行業中臺化都不是一蹴而就的,還是要遵循“具體問題,具體分析”的道理。沒有放之四海而皆準的中臺化策略,有的業務就不需要中臺化,有的中臺化反而會適得其反。有的公司壓根就只有一個業務,或者有幾個業務都沒有重複造輪子的現象,那硬去學習大廠的中臺,一定是東施效顰了。包括中臺的鼻祖阿里,也經歷過“痛極思變”的過程,在跌跌撞撞中成長的,不是老闆一聲令下就全部到位的。
轉自國元資料搜狐號https://m.sohu.com/a/492848934_410617
藍天和白雲是標配。