1. 程式人生 > >滴滴資料倉庫指標體系建設實踐

滴滴資料倉庫指標體系建設實踐

![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161304542-793048482.png) ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161305194-2030214522.png) **桔妹導讀:**指標體系是什麼?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規範化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什麼是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯絡的指標,系統化的組織起來,通過單點看全域性,通過全域性解決單點的問題。它主要由指標和體系兩部分組成。 指標是指將業務單元細分後量化的度量值,它使得業務目標可描述、可度量、可拆解,它是業務和資料的結合,是統計的基礎,也是量化效果的重要依據。 指標主要分為結果型和過程型: * **結果型指標** 用於衡量使用者發生某個動作後所產生的結果,通常是延後知道的,很難進行干預。結果型指標更多的是監控資料異常,或者是監控某個場景下使用者需求是否被滿足 * **過程型指標** 使用者在做某個動作時候所產生的指標,可以通過某些運營策略來影響這個過程指標,從而影響最終的結果,過程型指標更加關注使用者的需求為什麼被滿足或沒被滿足 體系是由不同的維度組成,而維度是指使用者觀察、思考與表述某事物的“思維角度”,維度是指標體系的核心,沒有維度,單純說指標是沒有任何意義的。 維度主要分為定性維度和定量維度,定性維度,主要是偏文字描述類如城市、性別、職業等;定量維度,主要是數值類描述如收入、年齡等,對定量維度需要做數值分組處理。 ##1.2 指標體系生命週期 生命週期主要包含定義、生產、消費、下線四個階段。針對整個生命週期要持續做指標運維、質量保障,同時為了提高指標資料複用度,降低使用者使用成本需要做對應的資料運營工作。 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161305694-1925818573.png) ##1.3 綜合使用場景 指標體系主要是結合使用者的業務場景來進行使用,多個不同的指標和維度可以組合起來進行業務的綜合分析,使用者可通過指標的變化看到整體業務的變化,並能夠快速發現問題、定位問題。常用的場景一種是決策分析的場景,通過資料看清業務現狀進行戰略決策支援,另一種是運營分析場景,無論是做使用者運營、產品運營還是活動運營都需要各類指標資料的支撐去看清問題、分析問題和指導解決問題。 #2. 為什麼搭建指標體系 * **衡量業務發展質量**    指標體系可以反映業務客觀事實,看清業務發展現狀,通過指標對業務質量進行衡量,把控業務發展情況,針對發現的業務問題聚焦解決,促進業務有序增長 * **建立指標因果關係**  主要明確結果型指標和過程型指標關係,通過結果指標回溯過程指標,找到解決問題的核心原因 * **指導使用者分析工作** 目的建立產品評估體系、活動效果評估體系、智慧運營分析體系 * **指導基礎資料建設** 明確基礎資料建設方向,集中資源,避免過程和結果分析指標資料的遺漏或缺失 * **指導內容產品建設** 結合使用者的業務場景來進行使用,多個不同的指標和維度可以組合起來進行業務的綜合分析,使用者可通過指標的變化看到整體業務的變化,並能夠快速發現問題、定位問題 * **統一指標消費口徑** 企業內統一關鍵指標業務口徑及計算口徑,統一企業業務目標,實現自上而下目標驅動 #3. 如何搭建指標體系 指標體系建設的常用方法是通過場景化進行指標體系的搭建,以使用者的視角場景化思考,自上而下業務驅動指標體系建設,所以要在特定場景下做好指標體系建設,需要先選好指標,然後用科學的方法搭建指標體系。 ##3.1 科學方法選指標 選指標常用方法是**指標分級方法**和**OSM模型**。 指標分級主要是指標內容縱向的思考,根據企業戰略目標、組織及業務過程進行自上而下的指標分級,對指標進行層層剖析,主要分為三級T1、T2、T3。 * **T1指標:公司戰略層面指標** 用於衡量公司整體目標達成情況的指標,主要是決策類指標,T1指標使用通常服務於公司戰略決策層 * **T2指標:業務策略層面指標** 為達成T1指標的目標,公司會對目標拆解到業務線或事業群,並有針對性做出一系列運營策略,T2指標通常反映的是策略結果屬於支援性指標同時也是業務線或事業群的核心指標。T2指標是T1指標的縱向的路徑拆解,便於T1指標的問題定位,T2指標使用通常服務業務線或事業群 * **T3指標:業務執行層面指標** T3指標是對T2指標的拆解,用於定位T2指標的問題。T3指標通常也是業務過程中最多的指標。根據各職能部門目標的不同,其關注的指標也各有差異。T3指標的使用通常可以指導一線運營或分析人員開展工作,內容偏過程性指標,可以快速引導一線人員做出相應的動作。 例如:成交率的指標分級 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161306229-112099633.png) **OSM模型**(Obejective,Strategy,Measurement)是指標體系建設過程中輔助確定核心的重要方法,包含業務目標、業務策略、業務度量,是指標內容橫向的思考。 * **O** 使用者使用產品的目標是什麼?產品滿足了使用者的什麼需求?主要從使用者視角和業務視角確定目標,原則是切實可行、易理解、可干預、正向有益 * **S** 為了達成上述目標我採取的策略是什麼? * **M** 這些策略隨之帶來的資料指標變化有哪些? **以滴滴網約車為例,按照OSM模型,它的指標是什麼樣的?** * O:使用者來使用滴滴這個產品,需求和目標是什麼? 使用者需求及目標是便捷、快速打到車,安全到達目的地 **那如何讓使用者感受到自己的需求被滿足了呢?** * S:滴滴做的策略是: **便捷方面**:提供了獨立APP版本、小程式版本,還可以多渠道打到車,例如在高德、微信、支付寶都有打車入口;起始、目的地地圖智慧精準定位;最優路線選擇等 **快速方面**:針對不同人群不同訴求提供了多品類產品選擇,例如快車、優享、拼車、計程車等業務,根據早晚高峰提高熱點區域運力,減少使用者排隊時間 **安全方面**:司機准入機制,司機合規機制,司機畫像 * M:我們需要針對這些策略去做指標,在這裡面我們的指標分別是結果指標和過程指標: **結果指標:**渠道轉化完成率、乘客取消率、供需比、司機服務分 **過程指標:**渠道發單數、渠道完單數、排隊乘客數、乘客排隊時長、司機好評率、司機接單量、司機取消數等 指標選取之後,下面就是最重要的分析維度選擇了,前面指標體系定義裡講過維度是指標體系的核心,沒有維度,單純說指標是沒有任何意義的。所以維度選擇層面主要通過資料分析視角結合實際分析業務場景來確定。例如城市維度、商圈維度、渠道維度、時間維度、使用者標籤維度等。 ##3.2 用分析模型搭建指標體系 在《精益資料分析》一書中給出了兩套比較常用的指標體系建設方法論,其中一個就是比較有名的海盜指標法,也就是我們經常聽到的AARRR海盜模型。海盜模型是使用者分析的經典模型,它反映了增長是系統性地貫穿於使用者生命週期各個階段的:使用者拉新(Acquisition)、使用者啟用(Activation)、使用者留存(Retention)、商業變現(Revenue)、使用者推薦(Referral)。 **AARRR模型** * **A拉新** 通過各種推廣渠道,以各種方式獲取目標使用者,並對各種營銷渠道的效果評估,不斷優化投入策略,降低獲客成本。涉及關鍵指標例如新增註冊使用者數、啟用率、註冊轉化率、新客留存率、下載量、安裝量等 * **A活躍** 活躍使用者指真正開始使用了產品提供的價值,我們需要掌握使用者的行為資料,監控產品健康程度。這個模組主要反映使用者進入產品的行為表現,是產品體驗的核心所在。涉及關鍵指標例如DAU/MAU 、日均使用時長、啟動APP時長、啟動APP次數等 * **R留存** 衡量使用者粘性和質量的指標。涉及關鍵指標例如留存率、流失率等 * **R變現** 主要用來衡量產品商業價值。涉及關鍵指標例如生命週期價值(LTV)、客單價、GMV等 * **R推薦** 衡量使用者自傳播程度和口碑情況。涉及關鍵指標例如邀請率、裂變係數等 可以根據實際業務場景,結合使用OSM和AARRR模型,來系統性的選擇不同階段所需要的核心資料指標。 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161307187-667920459.png) ##3.3 場景化搭建指標體系 目前階段網際網路業務比較流行的一種通用抽象場景**“人、貨、場”**,實際就是我們日常所說的使用者、產品、場景,在通俗點講就是誰在什麼場景下使用了什麼產品,不同的商業模式會有不同的組合模式。以滴滴實際場景為例:哪些場景(此處場景定義為終端,如Native,微信,支付寶)的什麼人(乘客)在平臺上使用了哪些貨(平臺業務線,如快車/專車等),進而為評估使用者增長的價值和效果。 ###3.3.1 “人”的視角 從“人”的視角,我們比較關心的是什麼乘客在什麼時間打的車,排了多長時間,等了多長時間上車,週期內第幾次打車,打車花了多少錢,是否有投訴和取消行為,具體到資料指標主要看發單使用者數、完單使用者數、客單價、週期內完單訂單數、取消訂單數、評價訂單數等。 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161307685-1742783276.png) ###3.3.2 “貨”的視角 從“貨”的視角,我們比較關心的就是成交了多少,交易額多少,花了多少,到具體資料指標主要會看GMV、成交率、取消率指標,在進一步會細分到城市、區域,一級品類、二級品類。資料的效果通過目標對比,橫向對比、歷史比較等方式進行分析確定。 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161308219-413620616.png) ###3.3.3 “場”的視角 從“場”的視角,我們比較關心的就是哪個渠道使用者點選量大曝光率大,帶來了多少新使用者,完成多少交易訂單,客單價是多少;或者是哪個活動拉新或促活效果怎麼樣轉化率多少,結合場景資料實際情況制定對應策略。 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161308736-526668660.png) 以上分別從“人”、“貨”、“場”三個角度進行了資料指標和分析維度的提煉,下面我們把三類指標結合指標分級方法進行分解關聯。 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161309307-121627310.png) #4. 怎麼管理指標體系 ##4.1痛點分析 主要從業務、技術、產品三個視角來看: * **業務視角** 業務分析場景指標、維度不明確; 頻繁的需求變更和反覆迭代,資料報表臃腫,資料參差不齊; 使用者分析具體業務問題找資料、核對確認資料成本較高。 * **技術視角** 指標定義,指標命名混亂,指標不唯一,指標維護口徑不一致; 指標生產,重複建設;資料彙算成本較高; 指標消費,資料出口不統一,重複輸出,輸出口徑不一致; * **產品視角** 缺乏系統產品化支援從生產到消費資料流沒有系統產品層面打通; ##4.2 管理目標 * **技術目標** 統一指標和維度管理,指標命名、計算口徑、統計來源唯一,  維度定義規範、維度值一致 * **業務目標** 統一資料出口、場景化覆蓋 * **產品目標** 指標體系管理工具產品化落地;指標體系內容產品化落地支援決策、分析、運營例如決策北極星、智慧運營分析產品等 ##4.3 模型架構 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161309777-1572945195.png) ###4.3.1 業務線 業務板塊定義原則:業務邏輯層面進行抽象、物理組織架構層面進行細分,可根據實際業務情況進行層級分拆細化,層級分級建議進行最多進行三級分拆,一級細分可公司層面統一規範確定,二級及後續拆分可根據業務線實際業務進行拆分。例如滴滴出行領域業務邏輯層面兩輪車和四輪車都屬於出行領域可抽象出行業務板塊(level一級),根據物理組織架構層面在進行細分普惠、網約車、計程車、順風車(level二級),後續根據實際業務需求可在細分,網約車可細分獨乘、合乘,普惠可細分單車、企業級。 ###4.3.2 規範定義 1. **資料域** 指面向業務分析,將業務過程或者維度進行抽象的集合。其中,業務過程可以概括為一個個不拆分的行為事件,在業務過程之下,可以定義指標;維度,是度量的環境,如乘客呼單事件,呼單型別是維度。為了保障整個體系的生命力,資料域是需要抽象提煉,並且長期維護更新的,變動需執行變更流程。 2. **業務過程** 指公司的業務活動事件,如,呼單、支付都是業務過程。其中,業務過程不可拆分。 3. **時間週期** 用來明確統計的時間範圍或者時間點,如最近30天、自然周、截止當日等。 4. **修飾型別** 是對修飾詞的一種抽象劃分。修飾型別從屬於某個業務域,如日誌域的訪問終端型別涵蓋APP端、PC端等修飾詞。 5. **修飾詞**指的是統計維度以外指標的業務場景限定抽象,修飾詞屬於一種修飾型別,如在日誌域的訪問終端型別下,有修飾詞APP、PC端等。 6. **度量/原子指標** 原子指標和度量含義相同,基於某一業務事件行為下的度量,是業務定義中不可再拆分的指標,具有明確業務含義的名稱,如支付金額。 7. **維度** 維度是度量的環境,用來反映業務的一類屬性,這類屬性的集合構成一個維度,也可以稱為實體物件。維度屬於一個數據域,如地理維度(其中包括國家、地區、省市等)、時間維度(其中包括年、季、月、周、日等級別內容)。 8. **維度屬性** 維度屬性隸屬於一個維度,如地理維度裡面的國家名稱、國家ID、省份名稱等都屬於維度屬性。 9. **指標分類**主要分為原子指標、派生指標、衍生指標: * **原子指標**基於某一業務事件行為下的度量,是業務定義中不可再拆分的指標,具有明確業務含義的名稱,如呼單量、交易金額 * **派生指標**是1個原子指標+多個修飾詞(可選)+時間週期,是原子指標業務統計範圍的圈定。派生指標又分以下二種型別: **事務型指標** 是指對業務過程進行衡量的指標。例如,呼單量、訂單支付金額,這類指標需要維護原子指標以及修飾詞,在此基礎上建立派生指標。 **存量型指標**是指對實體物件(如司機、乘客)某些狀態的統計,例如註冊司機總數、註冊乘客總數,這類指標需要維護原子指標以及修飾詞,在此基礎上建立派生指標,對應的時間週期一般為“歷史截止當前某個時間”。 * **衍生指標** 是在事務性指標和存量型指標的基礎上覆合成的。主要有比率型、比例型、統計型均值 ###4.3.3 模型設計 主要採用維度建模方法進行構建,基礎業務明細事實表主要儲存維度屬性集合和度量/原子指標;分析業務彙總事實表按照指標類別(去重指標、非去重指標)分類儲存,非去重指標彙總事實表儲存統計維度集合、原子指標或派生指標,去重指標彙總事實表只儲存分析實體統計標籤集合。指標體系在數倉物理實現層面主要是結合數倉模型分層架構進行指導建設,滴滴的指標資料主要儲存在DWM層,作為指標的核心管理層。 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161310659-164258487.png) ##4.4 指標體系元資料管理 ###4.4.1 維度管理 包括基礎資訊和技術資訊,由不同角色進行維護管理。 * 基礎資訊對應維度的業務資訊,由業務管理人員、資料產品或BI分析師維護,主要包括維度名稱、業務定義、業務分類。 * 技術資訊對應維度的資料資訊,由資料研發維護,主要包括是否有維表(是列舉維度還是有獨立的物理維表)、是否是日期維、對應code英文名稱和中文名稱、對應name英文名稱和中文名稱。如果維度有維度物理表,則需要和對應的維度物理表繫結,設定code和name對應的欄位。如果維度是列舉維,則需要填寫對應的code和name。維度的統一管理,有利於以後資料表的標準化,也便於使用者的查詢使用。 ###4.4.2 指標管理 包括基礎資訊、技術資訊和衍生資訊,由不同角色進行維護管理。  * 基礎資訊對應指標的業務資訊,由業務管理人員、資料產品或BI分析師維護,主要包括歸屬資訊(業務板塊、資料域、業務過程),基本資訊(指標名稱、指標英文名稱、指標定義、統計演算法說明、指標型別(去重、非去重)),業務場景資訊(分析維度,場景描述); * 技術資訊對應指標的物理模型資訊,由資料研發進行維護,主要包括對應物理表及欄位資訊; * 衍生資訊對應關聯派生或衍生指標資訊、關聯資料應用和業務場景資訊,便於使用者查詢指標被哪些其它指標和資料應用使用,提供指標血緣分析追查資料來源的能力。 原子指標定義歸屬資訊 + 基本資訊 + 業務場景資訊 派生指標定義時間週期 + 修飾詞集合 + 原子指標 修飾型別主要包含型別說明、統計演算法說明、資料來源(可選) ###4.5 指標體系建設流程 ##4.5.1 建模流程 建模流程主要是從業務視角指導工程師對需求場景涉及的指標進行主題抽象,歸類,統一業務術語,減少溝通成本,同時避免後續的指標重複建設。 分析資料體系是模型架構中彙總事實表的物理集合,業務邏輯層面根據業務分析物件或場景進行指標體系抽象沉澱。滴滴出行主要是根據分析物件進行主題抽象的,例如司機主題、安全主題、體驗主題、城市主題等。指標分類主要是根據實際業務過程進行抽象分類,例如司機交易類指標、司機註冊類指標、司機增長類指標等。基礎資料體系是模型架構中明細事實表和基礎維度表的物理集合,業務邏輯層面根據實際業務場景進行抽象例如司機合規、乘客註冊等,還原業務核心業務過程。 ###4.5.2 開發流程 開發流程是從技術視角指導工程師進行指標體系生產、運維及質量管控,也是資料產品或資料分析師和數倉研發溝通協調的橋樑。 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161311667-1473815225.png) ##4.6 指標體系圖譜建設 ###4.6.1 指標體系圖譜概述 指標體系圖譜也可稱為資料分析圖譜主要是依據實際業務場景抽象業務分析實體,整合梳理實體涉及的業務分類、分析指標和維度的集合。 **建設方法:** 主要是通過業務思維、使用者視角去構建,把業務和資料緊密關聯起來,把指標結構化分類組織 **建設目的:** * **對於使用者:** 便於使用者能夠快速定位所需指標和維度,同時通過業務場景化沉澱指標體系,能夠快速觸達使用者資料訴求 * **對於研發:** 利於後續指標生產模型設計、資料內容邊界化、資料體系建設迭代量化和資料資產的落地 ###4.6.2 指標體系圖譜模型 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161312067-588089454.png) ###4.6.3 指標體系圖譜例項 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161312835-1606941432.png) #5. 指標體系產品化 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161313549-809281142.png) 指標體系涉及的產品集主要是依據其生命週期進行相應建設,通過產品工具打通資料流,實現指標體系統一化、自動化、規範化、流程化管理。因為指標體系建設本質目標是服務業務,實現資料驅動業務價值,所以建設的核心原則是**“輕標準、重場景,從管控式到服務式”**。通過工具、產品、技術和組織的融合提高使用者使用資料效率,加速業務創新迭代。其中和指標體系方法論強相關產品就是指標字典工具的落地,其產品的定位及價值: * 支撐指標管理規範從方法到落地的工具,自動生成規範指標,解決指標名稱混亂、指標不唯一的問題,消除資料的二義性 * 統一對外提供標準的指標口徑和元資料資訊 ![工具設計流程 (方法論->定義->生產->消費)](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161313997-833020832.png) ![指標定義](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161314504-1055943249.png) ![指標生產](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161315161-1476862648.png) #6. 結束語 文章整體介紹了滴滴指標體系建設方法論和工具產品的建設情況,目前指標字典和開發工具已實現流程打通,與資料消費產品的打通後續會通過DataAPI方式提供資料服務,規劃建設中。指標體系建設方法論和工具已經在滴滴集團內進行推廣使用,滴滴網約車、普惠、車服等部門已經開始接入使用,截止目前共有5000+指標進入指標體系,覆蓋公司核心業務板塊、88個數據域、385個業務過程,52個業務場景,方法論和工具也會持續迭代實踐。 ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161315558-1094232136.png) **團隊介紹** 滴滴雲平臺事業群滴滴基礎平臺部資料治理部-數倉團隊負責公司網約車、計程車、順風車、國際化出行業務的資料倉庫的架構、規劃、設計及資料內容產品的建設工作。支撐公司運營、產品、分析、戰略、安全、體驗等核心業務部門的資料決策分析,提供完整、可靠、高質量的資料服務。 **作者介紹** ![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161315846-1266202480.png) 專注資料倉庫體系化建設,產品化數倉理念推廣及實踐者 **延伸閱讀** [![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161316184-689166362.png)](http://mp.weixin.qq.com/s?__biz=MzU1ODEzNjI2NA==&mid=2247500113&idx=1&sn=07b76ddf6670dd7f10e3a2c8faa5caa2&chksm=fc29aff6cb5e26e08bdf58095918ec98e8e29f21fce772086ef394e08caecf8305eca3d36ed0&scene=21#wechat_redirect) [![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161316682-630050428.png)](http://mp.weixin.qq.com/s?__biz=MzU1ODEzNjI2NA==&mid=2247499785&idx=1&sn=f0081ec223da05be049e7abde7f8762d&chksm=fc29aeaecb5e27b8839f090c79f730a0a6c487f8996918c2bdf6ebaad72a6ff9d40e87f272ef&scene=21#wechat_redirect) [![](https://img2020.cnblogs.com/other/1632886/202008/1632886-20200831161317123-2103926264.png)](http://mp.weixin.qq.com/s?__biz=MzU1ODEzNjI2NA==&mid=2247499563&idx=1&sn=fdfd28499b25c8b7c12b23080649abfb&chksm=fc29918ccb5e189a768bfbed1bc4040e0ce5d264bdb4592035cd7d16bdae96746bab6f5f163a&scene=21#wechat_redirect) 內容編輯 | Charlotte 聯絡我們 | [email protected] 滴滴技