隨著雲端計算、物聯網、移動網際網路等新一代資訊科技的快速發展，人類產生的資料量呈指數級增長。據資料顯示，2012年，全球資料量達到2.8ZB，預計到2020年，全球資料量將達到40ZB。大資料蘊含著巨大的價值，如今眾多企業已將資料視作企業的寶貴資產。然而，資料價值密度與資料總量成反比。面對巨大的資料規模，如何管理和利用資料，使其發揮價值是企業必須考慮的重要問題。大資料的價值所在使其面臨著隱私和安全方面的威脅。大資料治理將組織的部門、流程、人等元素與資料的整個生命週期聯絡在了一起，對企業資料管理和資料資產價值有著至關重要的作用。

《DGI資料治理框架》一文將資料治理定義為“資料相關事務的決策和授權的執行”，並進一步解釋為資訊處理過程決策權和職責的策略，約定了由誰負責處理哪些資訊，並在什麼情況下采用哪種方法，以及何時來執行。首先，大資料治理是資訊治理計劃的一部分，這是其定位。這就要求組織在制訂資訊治理框架時，必須將大資料納入其中，比如在資訊治理委員會中增加資料科學家，在資訊治理目標中增加大資料治理目標等。其次，大資料治理主要是資料處理的一系列相關政策的制訂，這是其內涵。再次，必須優化大資料，這是大資料治理的重點。最後，大資料必須變現，這是大資料治理的目的所在。

大資料體量大、種類繁多，且價值密度低，組織必須對其進行優化，比如定義元資料、淨化大資料、實施資料生命週期管理等。看似沒有任何價值的單一資料集合在一起時，會發現新的價值，這是大資料價值體現的重要途徑之一。而大資料價值的體現往往會涉及資料的隱私，這就要求組織在進行大資料價值體現時，必須注重大資料的隱私處理。組織將資料視作其資產的一種，要將其轉化成組織可以使用的現金，而變現的方式可以是單純地出售資料本身，也可以是利用資料開發新業務。

一、企業實施大資料治理的必要性

1、企業實現資料資源在組織內部的共享和交換的需要

目前，大部分工業企業已經完成了ERP、CRM、供應鏈、協同辦公等企業資訊化系統的建設，但是由於資料分散在眾多系統中，缺乏統一的資料定義和資料分類，因此在資料使用上存在資料不標準、資料不一致、資料完整性差等問題。

資料不標準主要表現在不同系統之間描述同一業務實體的資料定義標準不同；資料不一致主要表現在相關聯業務系統的資料不同步、各應用系統間存在資料編碼規則不一致的問題，還有重複編碼的問題；資料完整性差表現為缺少資料實體的關鍵資訊。企業必須對各個系統的資料來源以及輸出的資料資產進行統一的資料治理，實現資料在不同組織和系統內的交換與共享。只有解決了資料問題，才能實現IT價值。

2、提升海量資料資源質量的需要

大資料時代資料產生的價值越來越大，各企業都在探索基於大資料的相關技術和應用模式，最終目的就是挖掘資料的價值，推動企業的發展。因為資料有可能是成本，也有可能是資產，能給企業帶來重要的價值，是企業寶貴的資源。如果沒有資料治理，資料的質量就無法保證，資料難以成為企業的資產，既使再多的業務和技術投入也都是徒勞。資料質量低下會導致企業在IT方面的重複投入，各種應用系統的價值難以有效地發揮出來，資料的問題甚至會使得企業錯失商機，損失無法估量。

資料治理是保證資料質量的必需手段，資料治理的價值貢獻在於確保資料的準確性、可獲取性、安全性、適度分享和合規使用。例如，可以對資料服務涉及的計算資源、資料資源制定標準化的統一管理規範，制定涵蓋主資料、資料主題、資料質量、資料安全、資料共享等資料標準體系及資料管理體系。

3、資料驅動企業進行科學決策的需要

當今世界進入了資料爆炸的時代，資料成為企業重要的資產。企業涉及的資料型別，包括文字、影象、音訊、視訊等，分為靜態資料和動態資料，實時資料和非實時資料，結構化資料、半結構化資料和非結構化資料，這些資料有些來源於企業的內部資訊系統及裝置，有些來源於外部的供應鏈和社交網路。資料驅動企業的決策成為時代發展的必然。

資料治理能使企業清楚地認識自己的優勢和劣勢，有利於企業提高決策的合理性，為使用者提供更加優質的服務。大資料時代，企業可以通過對資料的整合和分析，從中獲取對企業有用的資料。新的資料技術手段，使得資訊在企業內部不同部門之間有效、快速地傳遞，使得不同部門之間的交流、溝通更加透明，使得企業不同的利益主體能廣泛地參與決策，從而提高決策的科學性和合理性。

4、企業整合資料資源提升競爭力的需要

在企業的生產經營活動中會產生大量的資料，企業需要對事務性資料、機器生成資料、社交媒體資料等內外部資料進行整合，特別是對與企業重大商業利益相關的資料資源的整合、分析與利用，從而指導企業的經營與發展。

資料技術帶來的不僅是技術的更新，還有管理方式的改變，資料治理不僅侷限在企業的決策層，還包含管理層和業務層，資料治理能改善企業管理層與其他利益相關者的關係，使企業變得更加敏捷和高效，更注重使用者體驗的提升和需求的滿足。例如，為解決日常的資料收集、資料處理效率較低、資料不一致的問題，可以通過元資料管理系統，建立採集元資料和元資料關係，提升跨系統的資料互動能力以及資料整合能力，進一步提升企業的核心競爭力。

二、企業大資料治理現狀

伴隨著大資料時代的到來，企業由於早期在資訊系統構建中缺乏統一的全域性規劃，使得其在當前資料治理體系的構建中存在著一系列的問題，如果不能有效對這些問題進行解決，以構造出完善的資料治理體系，勢必會對未來企業的發展帶來不利的影響。

1、大資料時代的定義及特徵

（1）大資料時代的定義

我國已經進入了數字經濟時代，必然會產生大量資料，大資料主要是指人們在日常工作、生產、生活中通過數字化的方式進行呈現和儲存。也可以很通俗地將大資料理解成為巨大的資料資訊，而伴隨著人們的各種需求的不斷增加，這種資料量還在不斷的增加。舉例來說，人們通過計算機網際網路對視訊和新聞的觀看，都不同程度地促進了大資料時代的快速形成。

（2）大資料時代的特徵

大資料時代具有如下幾個明顯的特徵：

資料量大。這是大資料時代最為突出的特徵，這也是大資料時代本來就是基於大量資料資訊所產生的是分不開的。

速度很快。正是由於大量資料的產生，需要不斷提升資訊資料處理速度，才能跟上大資料時代的要求，而如果資料處理速度難以跟上，就不能滿足資訊的快速傳播和擴散。

種類很多。伴隨著大資料時代的到來，計算機網際網路技術在人們的生活中獲得了非常廣泛的應用，也使得資料來源變的更加豐富，相應地，資料的種類也變的更多。

2、大資料時代企業資料治理現狀

在大資料時代下，企業在資料治理體系的構建過程中，主要面臨著如下幾個突出的問題：

（1）資料定義的缺失

所謂資料定義的缺失，就是企業的部分業務源系統以及外部資料來源缺少關鍵業務元素定義。這是因為企業系統開發建設的出發點大多以滿足客戶業務交易為主要目標，對於統計分析涉及的資料要素項的定義不夠關注，因此造成部分業務源系統和外部資料來源的資料定義不完備。在這種情況下，就很容易造成企業的不同部門有著不同的理解，甚至在對同一個欄位的理解也會產生很大的歧義。

（2）資料標準的差異

我國企業的早期資訊化建設過程中，其業務源系統相對是比較分散的，很少有從全域性的角度進行考慮，也就使得資訊孤島的現象比較突出，也帶來了有關係統的物料、客戶、供應商、會計科目、指標資料的不一致。正是由於企業在資料標準之間的差異，也使得各個資訊系統之間的資料很難有效進行共享，也帶來了企業的資訊資源利用效率難以跟上實際需求，伴隨著大資料時代的到來，更加使得挑戰進一步擴大。

（3）資料更新的滯後

在大資料時代下，雖然企業為了滿足各個系統與外部資料的內部訪問，都提升了訪問效率，減少手工資料傳輸，相同的資訊經常會在不同系統之間進行冗餘存放，不過由於對資料的更新滯後，很容易帶來冗餘資料的不一致，繼而產生了資料質量的問題，這也是在企業在資料治理中應該重點關注的問題。

（4）資料管控程度不高

企業大資料建設的最終目標是促進企業對於資料應用，最大程度發揮資料價值。因此，在當前企業大資料的治理中，人們普遍重視資料應用，圍繞應用中出現的資料關聯、質量管理、業務協同等進行資料治理，而忽視資料治理體系中的管理機制、控制能力以及安全與隱私保護等。

（5）資料治理機制不健全

在大資料環境下，資料治理的主體趨於多元化，即一個數據治理流程往往需要多方參與。例如，在資料質量管理中，問題資料的發現、反饋、修正是一個多方參與的閉環流程，參與方包括：企業資料中心（資料治理方）、資料來源頭單位（資料提供方）、資料使用者（資料使用方）等。這種多方協同治理的業務模式，對企業大資料治理制度和流程機制提出了更高要求。

（6）技術支撐能力不足

企業大資料治理體系的技術支撐需要涵蓋大資料管理、儲存、質量、共享與開放、安全與隱私保護等多個方面，當前相應的技術研究關聯性和系統性還存在欠缺，都是側重於點，而在整體上將技術關聯起來還有問題。具體來說，以金融或電信運營商行業為典型代表的傳統資料治理技術，是以基於主資料、元資料、資料規範的資料倉庫管理系統，可實現特定領域和型別的應用級資料質量管理。但無法滿足企業大資料環境下的海量、異構、多源、全格式（結構化、半結構化和非結構化）資料的治理需求。

三、企業大資料治理成熟度評估

1、大資料治理模型

基於以上概念分析，只有更好的評估企業大資料治理成熟度，才能更好的指導企業大資料治理的建設。根據實踐可以將大資料治理模型理解為人與組織、策略和能力的三維架構。人與組織是資料治理的主體，涉及企業中的各個職能部門及分子等，他們分別承擔著不同的治理職責。策略是大資料治理的工具，能力是大資料治理的手段。下圖所示為大資料治理模型三維架構。

具體來說，人與組織包含利益相關者、治理委員會、管理委員會和內部員工。利益相關者指組織內部和外部環境中受組織決策和行動影響的任何相關者，資料的產生者、管理者、使用者和監督者等；治理委員會是組織治理資料的最高機構，負責作出資料相關事務的決定，並將資料治理標準和措施彙報給資料的利益相關者；管理委員會負責具體實施治理委員會制定的各項資料治理決定，並將資料治理結果彙報給治理委員會；內部員工是資料治理架構中不可或缺的一部分，貫徹執行資料治理委員會和管理委員會制定的各項資料治理策略。

策略是組織制定的所有與大資料有關的資料優化、隱私保護和資料變現的準則和規範，包括組織資料治理的使命和願景、治理指標、資料治理規則和定義、權利與職責、控制措施。資料治理的使命和願景包括資料治理的整體目標，給予資料利益相關者持續與跨界的資料保護和服務，不合規準則引發的問題的解決方案等；資料治理指標定義了資料治理目標的衡量方法；資料治理規則和定義包括與資料相關的政策、標準、合規要求、業務規則和資料定義等；權利和職責規定了由誰來負責制訂資料相關的決策、何時實施、如何實施，以及組織和個人在資料治理策略中該做什麼；控制措施主要針對資料未治理風險防範和資料治理過程中可能發生的各類風險，以及如何做好資料隱私保護。

能力則反映了組織進行資料治理所具備的條件和水平，包括元資料管理、資料質量管理、業務流程整合、主資料管理和資訊生命週期管理。元資料是描述資料的資料，即描述資料和資訊資源的資訊。元資料管理就是整合大資料與企業的元資料庫。資料質量管理準則包括資料識別、採集、測量、提升和論證質量、整合組織資料的方法，比如具備應對非結構化資料佔據資料總量絕大部分情況的能力。業務流程整合要求組織制定的大資料治理計劃必須與組織的核心業務流程相匹配，以便從核心業務流程中獲取大資料治理的關鍵支援政策。主資料管理描述了一組規程、技術和解決方案，用於維護業務資料的一致性、完整性、相關性和精確性。大資料治理需要制訂將大資料整合到主資料管理環境的政策。資訊生命週期管理則要求組織判斷應該將何種資料保留在資料分析系統，何種資料需要存檔，何種資料需要刪除。

2、大資料治理成熟度評估

成熟度評估是企業大資料治理狀態和能力的一種衡量方式。大資料治理模型共三個維度，具體涵蓋14個評價指標。每個指標分別以5個等級來衡量其成熟度，然後再統籌考慮評價指標權重，得到組織大資料治理的整體成熟度評價。根據綜合評價結果，企業大資料治理成熟度可以分為以下5個等級，即初始級、基本級、定義級、管理級和優化級。

四、企業大資料治理框架

1、大資料治理總體框架

根據企業大資料治理特點和需求分析，從企業大資料應用創新的角度，企業大資料治理總體框架由九部分組成。

（1）大資料生命週期管理

資料生命週期是資料治理的時間軸，資料治理服務於資料的全生命週期。因此，完善的資料生命週期管理是確保資料治理有序、全面的前提條件之一。在企業大資料領域，資料生命週期管理又分為兩類，一類是技術層面的資料週期管理，指按照資料加工處理時序（資料採集、資料儲存、資料處理、資料建模、資料排程、資料銷存）而建立的時間裡程管理；另一類是業務層面的資料週期管理，指按照業務流程時序而建立的時間裡程管理。

（2）資料來源管理

以資料資源目錄的功能形式，提供對待治理的資料來源的管理。在功能模組上，資料來源管理由兩類功能組成：一是資料來源部門相關的組織機構管理功能，二是資料來源的目錄、格式型別和互動週期等資源屬性管理功能。從資料來源提供的資料型別上看，企業大資料治理的物件包括結構化資料、半結構化資料和非結構化資料，以及來自網際網路的資料等。

（3）主要技術支撐

企業大資料治理中所用的主要技術包括資料檢核引擎、ETL工具、訊息中介軟體、流程引擎、Hive和MPPDB等。相對於傳統資料治理技術，專門引入了Hive和MPPDB等大資料領域的數倉工具，代替傳統數倉中Oracle、MySQL等關係型資料庫，以滿足大規模資料的治理效率要求。另外，要特別強調的是，資料質量檢核引擎的設計最具技術含量，也最為重要，它直接決定了資料檢核的能力和資料質量的把控程度。因此，質量檢核引擎的設計要充分響應上文中的需求分析，體現技術先進性、功能完整性、覆蓋全面性、檢核深度性和使用便捷性，實現良好的資料質量檢查和核對功能。

（4）貼源層治理

貼源層治理又叫近源治理，是指在最貼近資料來源頭的一側，對資料進行建模、標準化和技術檢核方面的治理。貼源層治理的要點如下：

第一，資料建模時，須按照對業務屬性的影響程度，區分主資料和業務資料，以滿足資料實體在業務流程、資料質量控制方面的不同要求。主資料是指對業務影響至關重要的共享資料，如組織機構、員工、會計科目、物料、供應商、客戶等。同時，也要按照記錄屬性對資料實體識別的影響，為每個屬性設計權重，區分核心和普通屬性，以滿足深度資料質量控制要求。

第二，資料標準化是指按照元資料或資料元標準規範，對彙集的源頭資料進行格式轉換、字典對映，進行初步的資料規範。

第三，資料檢核是資料質量控制的核心舉措，根據是否存在業務相關性，又分為技術檢核和業務檢核。其中，資料技術檢核是指對資料進行不涉及業務的檢查和核對。即按照資料質量標準，使用資料檢核引擎，對源資料進行格式、值域、重複度、完整性、準確性等質量校核，以最大程度地發現、排除問題資料，為後續質量控制打下堅實基礎。

第四，資料質量考核評價是貼源層治理的主要輸出結果，通常這個結果以資料質量報告的形式輸出。資料質量報告由標準規範體系中預先定義的質量評價指標組成，用於反饋資料治理相關方，觸發資料質量控制的相關業務流程。

（5）中心層治理

與貼源層治理相對應的是中心層治理，即在貼源層治理和資料資源中心之外的其他治理內容。中心層治理的內容包括資料關聯、資料融合和資料業務檢核，它們具有一個業務相關的共性特徵，即治理內容與資料所屬業務領域密切相關。中心層治理的要點如下：

第一，資料關聯是指基於業務主資料，將各相關資料模型串聯起來，形成實體的一個全息資料畫像，並通過相關屬性，將這種資料間的關聯關係儲存起來。資料關聯對於企業大資料應用實施具有決定性作用，通常可關聯的資料，才是實際可用的資料。

第二，資料融合是指在資料關聯的基礎上，將同類資料去重後聚合，把“一數多源”變為“一數一源”；或者將同一個實體的不同資料片段，構建形成新的、更完整的資料描述。資料融合通常面向特定應用場景，是資料應用中最為常見的資料操作之一。

第三，資料業務檢核是基於資料的業務屬性進行的業務邏輯合規性檢查核對。業務檢核是資料質量檢核中不可或缺的部分，與技術檢核同等重要。以個人身份證號資料為例，技術檢核僅能做到身份證號長度、格式、特定位值（地區編碼、年齡）等的合規檢查，而不能識別該號碼的真假；業務校核則是通過把該號碼與身份證登記機關的資料庫相比對，確認出號碼的真假。

（6）資料資源中心

資料資源中心是資料治理的結尾環節，進入資料資源中心的資料被認為是標準、合規、正確、可直接應用的資料。在企業大資料治理體系中，資料資源中心階段的資料治理，側重於資料資產的形成和管理，以及資料集的儲存劃分。在該框架中，以資料資產目錄來統領資料資產的管理；以面向資料實體的基礎資料庫和麵嚮應用的主題資料庫，統一儲存治理後的資料。

（7）資料標準規範體系

資料標準規範是實施資料治理的基礎前提條件，對資料治理的成效起著決定性作用。沒有標準規範，無從資料治理；標準規範不全，資料治理不全。對於企業大資料來說，要做好治理需建立健全以下規範：

第一，元資料標準。要全面建立元資料標準，做到對全域資料的覆蓋。

第二，資料元標準。要有選擇地為主要資料實體建立資料元標準。

第三，資料分類編碼標準。要為重要資料建立分類編碼標準，併為基礎資料建立編碼字典表。

第四，資料目錄規範。要在儘可能大的範圍內，建立統一的企業資料資源目錄規範，在最大程度上規範目錄編碼和操作。

第五，資料質量標準。要從準確性、合規性、一致性、重複性、及時性、完整性等指標角度，建立全面的資料質量標準，並給出評估指標和評估方式。

第六，資料治理流程規範。流程化是治理有序的保障，要將資料治理流程化，建立相應的流程規範，通過流程規範提升治理有序水平。

（8）大資料安全和隱私管理

企業的生產經營資料價值大、敏感度高，涉及企業戰略的隱私和股東的權益。因此，在企業大資料的治理中，要建立相應的治理安全管理體系，確保各治理環節的資料安全。一般情況下，資料治理要達到以下安全保護要求：

第一，按照《工業資料分類分級指南(試行)》、《資訊保安等級保護管理辦法》和《資訊系統安全等級保護定級指南》的要求，確定資料治理系統的安全保護等級，構建安全防護體系。

第二，針對不同資訊可動態設定安全保護手段。

第三，治理功能與組織機構和使用者分級許可權相結合。

第四，提供資料簽名和資料脫敏功能，確保隱私安全。

第五，所有治理操作均有記錄日誌，納入統一安全審計管理。

（9）其他方面

為構建自動化、智慧化的資料治理平臺，企業大資料治理框架還需具有追溯和視覺化展示功能。追溯功能是指設定並記錄資料治理的各個里程節點，可以追查資料治理的過程資訊。並且在一定時效和條件下，可將某節點治理後的資料回退到其之前的任何狀態。追溯功能可實現資料治理的靈活控制，利於複雜資料環境下實現智慧化資料治理。具有良好視覺化展示功能是先進資料治理平臺的基本要求。治理視覺化能帶來良好的使用者操作體驗，便於治理工作的實施，利於人工參與治理效率的提高。

2、企業大資料治理主要流程

企業大資料治理的主要流程如下圖所示：

第一，資料來源分析。在新的資料來源接入時，首先做資料來源的分析，內容包括：確認要治理的資料類別、資料項和資料週期等，抽取樣例資料，分析資料特徵，做好為資料治理服務的規劃準備。

第二，資料治理規劃。資料治理規劃分為三個步驟：（一）對樣例資料進行標準規範分析，根據分析結果得出資料模型和元資料標準；（二）對樣例資料進行資料質量評估，根據評估結果制定資料檢核規則、關聯策略和融合方案；（三）將樣例資料與其他已有資料進行對比，確定資料關聯和融合策略，並進一步確認資料歸屬（所屬的基礎庫或主題庫）。

第三，資料標準管理。根據資料治理規劃的標準規範分析結果，建立全部資料模型，以及相關元資料、主資料或資料元標準，更新相關資料標準。

第四，資料治理策略管理。根據資料質量評估和資料對比結果，確定資料檢核規則，以及建立資料關聯和資料融合的策略。

第五，常態化資料治理實施。對待治理的資料進行資料檢核、資料關聯和資料融合，除初次治理的資料須經前四個步驟外，同類型資料後續進入常態化治理階段，直接從本步驟開始。

第六，資料資源管理。將治理後的資料存入基礎庫或主題庫，從資產的屬性對資料進行資產化處理，形成資料資產，進行資料資產管理。

五、大資料時代企業資料治理策略

1、建立完善的資料標準體系

在大資料時代下，企業應該根據業務管理中所涉及的渠道、合約、產品、分類、事件等資料要素，逐步建立起機構標準類、員工標準類、產品標準類、客戶標準類、渠道標準類、營銷標準類、賬戶標準類、交易標準類、公共標準類以及合約標準類資料標準體系框架。同時伴隨著大資料時代的不斷髮展，還要對該資料標準體系進行完善，從而更加規範、科學地指導企業使用資料。

2、制定完善的資料應用標準流程

資料標準的核心是建立一個統一的企業級規範，從而促進企業全行範圍之內的資料有機共享，繼而提升資料的管理和使用水平。尤其在大資料的時代下，企業更應該根據半結構化和結構化、非結構化資料的不同特徵，基於加強內外部資料共享的角度為大資料制定統一的業務解釋和標準，加強協調企業的相關部門對資料標準的不同需求，繼而建立其適用的統一模型以及資料共享為基礎的資料應用標準流程。

3、形成完善的資料評估體系

在大資料時代，企業更應該加強對資料一致性、完整性以及準確性的評估，繼而保證資料的使用治理。也就是：（一）提供的資訊不能存在著重複和衝突的現象，以保證資料的一致性；（二）必需的資料以及關聯關係務必要存在，不能出現違反資料標準和質量需求的資料，體現資料的完整性；（三）資料務必能夠反映出企業的真實資訊，符合企業的實際業務需求，體現出準確性的特徵。