什麼是資料標準,如何做好資料標準管理?
在萬物互聯的當下,數字經濟生態基本覆蓋了社會生產的方方面面,資料不再只是單純的經營活動副產品,還成為了開發新型商業模式的基礎資產和創造未來發展機遇的戰略資源。想要高效低成本地運營一個專案、部門、公司,乃至城市,資料化思維都是重要的一環。
如果一個企業尚未建立起有效的資料管理機制,將可能導致各業務系統在資料層面遭遇重重障礙、難以順利推進,更無法充分挖掘出資料內涵的價值。而其中資料標準化管理是資料管理體系中具有基礎意義的一環,它是一個涉及範圍廣、業務複雜、資料繁雜的工程。
今天小億就來為大家說說資料標準管理是什麼,能為公司帶來哪些益處。
一、什麼是資料標準管理?
1.定義
資料標準是指企業為保障資料的內外部使用和交換的一致性和準確性而制定的規範性約束。而資料標準管理則是一套由管理制度、管控流程、技術工具共同組成的體系,是通過這套體系的推廣,應用統一的資料定義、資料分類、記錄格式和轉換、編碼等實現資料的標準化。
2.目標
資料標準管理的目標是通過統一的資料標準制定和釋出,結合制度約束、系統控制等手段,實現資料的完整性、有效性、一致性、規範性、開放性和共享性管理,為資料資產管理提供經管理依據。
▲資料治理體系架構
對於大多數企業而言,他們已有各種各樣的資訊規範,如建模規範,但是這些規範只是為了約束開發工作,更多的時候強調的是資料字典表達的規範。而企業級資料標準的目標卻是使企業內部在業務和資料上達成共識,業務共識在先,資料共識在後。從一個IT管理的資料規範變成企業級的資料標準,將是非常大的轉變,這個轉變的核心是以資料標準提高業務的規範性和業務協同能力,同時約束IT系統建設。
二、為什麼要做好資料標準管理?
資料標準管理是規範資料標準的制定和實施的一系列活動,是資料資產管理的核心活動之一,對於政府和企業提升資料質量、釐清資料構成、打通資料孤島、加快資料流通、釋放資料價值有著至關重要的作用。
可以說,資料標準是資料管理的基礎性工作,是資料管理建設中的首要環節,具體主要體現在以下幾個方面:
(1)資料標準為資料平臺提供統一的資料標準定義和平臺邏輯模型;
(2)資料標準是資料平臺進行資料治理的依據和根本;
(3)資料標準是衡量資料平臺數據資產運營和管理的評估依據;
(4)需要通過資料標準管理的實施,實現對資料平臺全網資料的統一運營管理。
三、建設資料標準體系必備的前提條件
1.構建資料標準管理組織
資料標準體系建設需要得到企業高層的重視和支援,更需要企業的所有部門共同參與。形成高層決策、資料標準管理部門統籌、各部門參與的資料標準管理的長效機制。其中高層是資料標準化工作的最高決策機構,資料標準化工作小組負責組織推動企業資料標準化工作。
2.制定資料標準管理制度
制定相關資料標準管理辦法、細則等,從制度層面明確了標準化中相關方的職責,建立了資料標準制定與分佈、落地執行流程、變更與複審機制,使資料標準在機制上得到保障。
四、資料標準規範包含哪些專案?
資料標準由業務標準、技術標準和管理標準組成。例如:資料項的業務定義、業務規則、質量規則為該資料的業務標準;資料項的名稱、編碼、型別、長度等為該資料的技術標準;資料的管理流程、管理部門、管理人員為該資料的管理標準。
1.業務標準規範
通過對實體資料的標準化定義,解決了資料不一致、不完整、不準確等問題,通知資料的內容範圍需要核定,主要和業務強關聯,由基礎指標和計算指標標準組成,具有特定的業務含義。
2.技術標準規範
資料範圍規範工作完成之後,需要對資料的編碼規則、命名規則進行規範,主要包括資料來源、資料項、邏輯模型標準、物理模型標準、元資料、公共碼值標準等;
3.管理標準規範
資料標準管理是一個涉及範圍廣、業務複雜、資料繁雜的工程。資料標準管理絕非是一個部門的事情,不能在企業的單一部門得到解決。資料管理制度章程是確保對標準資料管理進行有效實施的認責制度。建立標準資料管理制度和流程體系是需要明確標準資料的歸口部門和崗位,明確各崗位職責,明確每個標準資料的申請、審批、變更、共享的流程。需要從整個組織考慮,建立專業的資料管理組織體系,明確資料標準工作的目標和內容,並監督及考核資料標準的貫徹與執行。
五、如何做好資料標準管理?
1.包含哪些內容?
在資料管理部門進行鍼對各種資料項的標準化過程中,結合實際工作情況,一般可以將標準規範分為兩類,一種是基礎資料標準,一種是指標資料標準,以兩類細分規範來進行更進一步的管理,為後續的各種資料管理工作提供便利。
(1)基礎類資料標準
基礎類資料標準通過各種業務處理產生或各類渠道採集的基礎性資料,在範圍內必須是唯一定義的,如“統一社會信用程式碼”、“歸屬地市”等。基礎類資料標準分為行業參考模型實體標準和公共程式碼標準。
(2)指標類資料標準
指標類資料標準是資料基礎上按照一定業務規則加工彙總的資料,如巨集觀經濟指標資料。指標類資料又可分為基礎指標和計算指標。基礎指標一般不含維度資訊,且具有特定業務和經濟含義。計算指標通常由兩個以上基礎指標計算出。
基礎資料標準和指標數標準根據各自業務主題進行細分,應儘可能涵蓋企業的主要業務,並且覆蓋企業生產系統中產生的所有業務資料。以銀行為例,如圖所示:
2.資料標準的梳理
眾所周知,建設一個業務系統實際上是將企業或者行業的運作機制IT化和系統化的過程,需要從梳理業務流程和管理流程開始。類似的,建設資料標準就是將資料的表達和使用,統一和系統化的過程。而在這個過程中,首先就要梳理資料產生和應用的全部範圍。對企業來說,這意味著資料標準的建立需要從盤點企業內部全部生產系統中的資料開始。
資料標準涉及到的實體物件存在很多,為了方便建設和記憶,往往採用的是頂層設計的梳理方法:
(1)首先構建資料標準的主題域,釐清資料主題域之間的邏輯關係;
(2)再逐級分解,定義各個主題域下的重要實體和實體間關係;
(3)最後定義每個實體中的標準資訊項,包括業務含義、質量規則、安全級別、值域範圍、程式碼集等內容。
資料標準的建設並不難掌握,關鍵是建設過程中需要收集並整理大量的業務規範、制定章程、法律法規、監管規定、國家標準,並將這些規定具象到資料標準定義的資訊項中。對於一個從未做過資料標準的實施團隊而言,這將意味著巨大的工作量。
六、資料標準建設中的注意事項
(1)資料標準統一規劃。以資料資產管理需求為導向,結合資料標準規範指導內容,構建適應資料平臺的資料標準體系,並制定資料標準實施方案。
(2)建立資料標準掛曆的支撐體系。要求包括資料標準管理組織架構、資料標準管理辦法和制度流程,以及資料標準管理支撐工具。
(3)注意資料平臺中資料業務口徑和技術口徑有效協同統一問題
(4)要滿足資料平臺的平臺化、產品化和資料資產運營的需求。
(5)需支援資料平臺的資料介面標準化定義
(6)滿足原有資料可逐步進行資料標準規範的遷移和統一。
七、資料標準建設方案
億信華辰旗下的EsDataStandard資料標準管理平臺,可以有效的幫助企業建立規範的資料應用標準,消除資料的不一致性,從根本上改善和解決系統的資料質量問題,實現資料有效共享,並通過智慧化的管理方法,讓企業輕鬆享受大資料帶來的便利和效益。
1.內建標準一鍵應用
平臺內建一批國標、行標,可一鍵應用大大提高專案交付效率。另外平臺內建標準的技術、業務、管理、質量屬性,結合靈活的定義方式,從手工建立、匯入、拾取、智慧識別等,可幫助客戶快速構建基礎標準、指標標準、程式碼標準。
2.智慧追蹤標準歷史
平臺支援標準增、刪、改、查、釋出、稽核等各種基礎操作,其變更過程能被自動記錄,通過變更版本控制,追蹤標準歷史。另外平臺還提供了靈活細緻的使用者許可權管理機制,滿足不同使用者管理各自的標準的場景。
3.視覺化的介面一目瞭然
實現資料從建立到消亡全生命週期的視覺化,資料標準的建立也是完全可視的,並且實現全形色的視覺化,不管是執行層還是決策層都可對資料標準的完善起到關鍵作用。
EsDataStandard資料標準管理平臺包括:標準分類管理、標準增刪改查、標準匯入匯出、標準評審、標準釋出、標準版本管理、標準落地對映、標準落地評估、標準監控等功能。同時為更好的保障資料標準的落地,最好結合元資料管理工具一起使用。
如果你已經非常明確自家資料體系存在資料病症,急缺一個可以妙手回春的良醫的話,EsDataStandard資料標準管理平臺一定是一個非常明智的選擇。