【資料化運營方法論系列文章Ⅱ】大道至簡的資料體系構建方法論
導讀
很多企業已經意識到,一個系統化的資料體系將是資料化運營的核心支柱。那麼,企業該如何清晰地打造自己的資料體系呢?作者將根據多年經驗總結用簡樸的語言告訴讀者一套大道至簡的方法論。
本文是“資料化運營方法論系列”文章的第二篇。第一篇講的是“不知道該怎麼分析”的問題,本文講的是“不知道該分析 什麼”的問題。第一篇文章更微觀,站在個人分析師角度,本文更巨集觀,站在公司層面進行講解。
備註歡迎回顧作者“資料化運營方法論系列”文章的第一用簡單易懂的文筆總結出一套易學易用的資料分析方法論,讓初學者快速掌握資料分析方法中最核心、最常用的要點。(本文官方連結為:http://yonghongtech.com/html/news/company/2016/0129/460.html)
與“不知道該怎麼分析”一樣,“不知道該分析什麼”同樣是很多人常問的問題之一。事實上,如果知道了方法,雖然不能做到沒有一蹴而就,但是也能明晰如何一步步堅實地打造屬於自己的資料體系路徑。
資料體系構建的路徑簡單來講,就是先梳理出資料指標體系,再將其落地到BI(商業智慧,其實叫業務智慧更對味)系統裡。
一由上至下地梳理資料指標體系
1 確定目標這是第一個應該問自己的問題。花大力氣做資料分析,最終為了什麼呢?如果這都沒想清楚,那資料體系肯定無從下手。
是想提高使用者活躍度、增加使用者、增加銷量,還是別的什麼目標?這麼一想,好像我都想要。都想要沒有問題,但是會讓工作的邊界無限蔓延,導致事情無法推進。所以,應該
那麼,什麼問題才是我們最需要關心的目標呢?
對於不同領域、不同階段的公司和不同角色的使用者而言,這個問題的答案都不一樣。對於很多公司老闆來說,利潤就是他們最關心的目標;對於非售賣產品/服務的公司或政府而言,也許客戶滿意度是最關心的目標;對於交易平臺類公司或早期電商公司而言,利潤不是重點,交易量是最關心的目標。
最關心的目標搞定了,下面是不是可以解決都想要的問題了呢?並不是這樣。大資料帶來的最大一個誤區就是資料量和欄位數越多越好。但是,在真正解決具體業務問題時,我們一定是從大資料的全集中切出相關的一個子集來使用的。
對於單人而言,無論是老闆還是執行層,同時關注的目標/KPI都不宜過多。同時看幾十個KPI,想象一下也知道會很暈,且耗費時間
對企業而言確實有很多KPI都是非常重要的。這該怎麼辦?可以分解到多人,即不同角色一起協作,每個角色關注自己的目標,所有角色合在一起是公司所有目標/KPI的全集。
假設老闆最關注的目標是利潤,利潤=收入-成本,可以將這個目標分解為由銷售總監來關注收入,運營總監來關注成本。當然,並不是說老闆不能看收入,而是把常規性的關注目標鎖定在一個可行的範圍之內。
2 分解指標目標確定了,下一步是分解出相關的指標。
針對目標,需要哪些指標來監控或分析能達成目標呢?比如利潤,相關指標就是收入和成本,當然這太粗了,收入有哪幾類,成本有哪幾類,都應該考慮進去。比如對於零售行業的銷售額,可以分解為客流量、進店率、購買率、客單價和復購率等。
所以,分解的方式有很多種,需要遵循MECE原則(完全窮舉,相互獨立)。
3 細化欄位針對指標的計算公式,涉及到哪些欄位,分別在哪些庫的哪些表裡,是否需要資料清洗,清洗規則是什麼等。
比如購買率,是通過公式“購買人數/進店人數”算出來的,購買人數又是對“客戶ID”進行計數計算得出來的,這些指標涉及到的欄位對應到資料庫裡哪張表的哪個欄位,需要梳理清楚,這部分就需要IT人員或資料庫管理員的介入和配合了。
4 非功能需求上述第3步完成之後,我們其實已經算是梳理完了指標體系,可以落地了,但為了讓最終形成的資料系統更加完備、友好、可用,還需要一些非功能需求的梳理。
-
UI:偏好什麼樣的展示風格,這點看著無關緊要,但實際上使用者每天都會與資料系統打交道,美觀、體驗好的系統UI會讓使用者更加喜歡。
-
頁面流:哪些相關指標擺放到同一個報告頁面上,頁面之間的層次關係如何,使用者可以在頁面之間如何跳轉。
-
許可權:誰能看哪些資料範圍,誰能看哪些欄位和指標,需要有統一的許可權控制,避免出現數據安全問題。
-
ETL:資料從資料來源同步到分析系統的頻率如何,規則如何。
-
整合:是否需要在介面、預警訊息等層面與其它系統進行整合。
-
效能:看不見摸不著,但是直接決定系統可用性。如果資料量大時需要幾分鐘甚至幾十分鐘才能看到結果,相信這個系統就不會有人願意用了。
上述4項完成之後,我們就形成了《資料運營系統需求文件/實施方案》,即可落地到資料運營系統裡,然後,再根據報告頁面數量、資料準備複雜度等確定工作量和時間計劃。
二由下至上地實施落地到BI系統
1 連線資料根據需求文件/實施方案,一步步進行系統搭建工作。這個系統有的企業稱之為大資料平臺,有的企業稱之為BI系統。大資料平臺的範疇會更廣一些,但對企業資料化運營而言,BI一定是核心構成。
那麼,無論是開發還是基於像永洪科技一樣的第三方工具快速實施,系統搭建的第一步都是連線各個資料來源,打通和各個資料來源之間的通路。
在企業裡,資料環境往往是異構的,資料來源可能包括資料庫、Hadoop系列平臺、Excel檔案、日誌檔案、NoSQL資料庫、第三方介面等,需要對每種資料來源都有快速友好的對接方式。
最終,我們在系統裡能看到所需要的各個資料來源中所有的表格和欄位。
2 資料處理資料來源裡的資料往往是有或多或少的不規範性存在的,比如有重複記錄,比如有遺漏的空值,比如有明顯不合理的異常值(比如有2020年的成交訂單),還可能有同一個事物在系統中存在多個名稱的情況。
這些資料如果不做一些處理或稱之為清洗的工作,是會對分析的準確性產生很大影響的,所以需要做些預處理。這個過程往往是最耗時、最枯燥的,但也是十分重要的。
3 資料建模作者提醒:這個環節的問題將在下一篇文章《大道至簡的資料治理方法論》中再深入探討。
資料處理好了,下一步就該做資料建模了。
一提到建模,非技術背景的使用者就生畏,覺得高深不可理解。其實建出的模是個什麼東西呢?
簡單來講,把多張表關聯到一起,就是一個數據模型。
比如,公司要做績效分析,需要員工的工齡、學歷、專案數、專案金額、專案利潤率等指標,其中工齡、學歷在個人資訊表裡,專案數、專案金額在專案表裡,專案利潤率在財務表裡,這三張表有個共同欄位“員工編號”,通過這個欄位把這三張表關聯起來,這就是一個數據模型,一個績效分析主題的資料模型。
4 製作資料報告基於建好的資料模型,我們就可以開始製作資料報告了。
資料模型提供了基礎資料和欄位,按照需求將它們以公式進行組合,用合適的圖表型別進行展示,將相關指標擺放到同一個報告頁面上,配置好頁面之間的層次關係和跳轉關係。以下是基於永洪科技一站式大資料分析平臺製作的Demo。
5 非功能需求實現
經過第4步之後,我們的資料體系已基本成型,剩下的就是實現上述的各個非功能需求了。這樣,一個完備、友好、可用的資料運營系統就上線了。
上線並不是工作的終點,業務需求時刻都會變化或新增,需要能夠快速迭代調整,資料處理、建模、製作資料報告等操作需要高度工具化,以保證靈活可配置。第三方工具對比自開發的優勢也在這點上體現尤為明顯。
歸根結底,做資料的目的要麼是為了提升管理(節流),要麼是業務創新(開源)。一個系統化的資料體系將是資料化運營的核心支柱。