隨著資料資源的爆炸性增長，企業面臨著資料標準不統一、資料資訊分散、資料質量參差不齊、開發維護困難等問題，很難滿足實時分析和決策的高要求。因此，資料治理對於工業網際網路的發展至關重要。

1 資料治理髮展現狀

1.1 資料治理的相關概念

資料治理是組織中對資料使用和管護的管理行為，其本質是指導、評估和監督資料的管理和利用，通過制定資料標準體系，提高資料的質量，併為組織提供不斷創新的資料服務，以提高資料的價值密度。資料治理內容主要包括元資料管理、主資料管理、資料標準管理、資料質量管理、資料生命週期管理、資料組織、資料安全和資料服務等模組，不同模組功能明確、相互協同，共同打造統一排程、精準服務、安全可用的資訊共享服務體系。

1.2 資料治理的發展歷史

資料治理的發展歷史可分為三個階段。第一階段為早期探索階段，1988年麻省理工學院啟動的全面資料質量管理計劃形成了資料治理的雛形。同年，國際資料管理組織協會(DAMA)成立。2002年，資料治理概念在學術界嶄露頭角，美國兩位學者結合兩家公司的實踐結果提出資料治理研究方向，由此拉開了資料治理在企業管理中的大幕。第二階段為理論研究階段，2003年國際資料治理研究所成立，主要研究資料治理理論框架，與國際標準化組織合作對資料治理進行定義。2009年，DAMA釋出資料管理知識體系指南，基本確定資料治理的理論框架。第三階段為廣泛接受與應用階段，隨著資料倉庫的建設，國內也逐步開始接受資料治理的理念，並在2015年提出了《資料治理白皮書》國際標準研究報告。

2020以來，資料治理在公共管理、科學研究與工商業等領域得到廣泛應用，以資料為核心的“網際網路+”體系日益彰顯資料治理的價值，為進一步推動資料治理的發展，美國、歐盟紛紛頒佈圍繞資料使用與保護的公共政策。我國也相繼出臺了《中國製造2025》《關於深化“網際網路+先進製造業”發展工業網際網路的指導意見》等相關政策以促進工業網際網路發展，進一步體現了工業資料治理的必要性。

1.3 工業資料治理探索

工業生產製造主要包括裝置故障預警、異常實時告警、異常回溯、產品穩定性和生產效率優化等業務場景。隨著智慧製造、工業網際網路等戰略政策的深入推進，工業企業積累了大量的資料，為不同業務場景下的資料分析提供高質量的資料介面，使得開展工業資料治理成為核心問題。本文將以工業資料為核心，以資料治理為方法，以業務應用為目的，構建面向工業生產製造的資料治理體系

2 工業資料治理體系

2.1 工業資料態勢

2.1.1 工業資料來源

工業資料可劃分為操作技術資料(OT)和資訊科技資料(IT)。OT資料是工業資料的主要部分，源自工業生產機器裝置、自動化採集系統等，包含時序資料和非時序資料。時序資料包括溫度、壓力、流量等資料。非時序資料包括工業系統的日誌資料以及生產調控的經驗資料。IT資料主要包括企業資源計劃(ERP)、製造執行系統(MES)等業務資料。其中ERP系統主要包括財務、客戶關係、供應鏈管理等資料，MES系統位於上層ERP層與底層控制層之間，主要包括生產排程、質量管理、人員管理等資料。

2.1.2 工業資料特點

“隔離性”。工業資料來自多道工序的多臺裝置，裝置獨立工作以及工序間資料互不流通，形成一座座“資料孤島”。

“多模態”。工業資料來源多樣，結構複雜。除工業生產中所採集的溫度、壓力、流量等時序資料之外，還包括檢測火焰溫度等的紅外熱成像視訊資料。

“強關聯”。工業資料中的關聯主要包括：生產指標間的關聯，如原料燃料流量、溫度、壓力的關聯；生產過程的關聯，如生產工序間的工藝引數關聯關係；產品設計製造等環節之間的關聯，如模擬過程與產品實際工況間的關聯。

“高通量”。感測器所採集的時序資料具有裝置多、測點多、頻率高、吞吐量大、連續不間斷的特點。以某工業生產裝置為例，資料取樣頻率為10Hz，單臺裝置每秒產生16KB的感測器資料，按20臺裝置全量採集計算，每日將產生約12.87GB的資料，每年將產生4.58TB的資料，呈現出“高通量”的特徵。資料帶來巨大的儲存成本，還存在銜接不連貫、標準不統一、資料不對齊、“髒”資料等質量問題，無法為資料分析提供有效介面，如何提升資料價值密度、提高資料探勘效率是現階段亟待解決的問題。

2.2 工業資料治理體系研究

2.2.1 頂層框架設計

資料治理是工業數字化轉型之路的關鍵，資料治理工作的落地有助於提升資料價值密度、提高資料探勘效率，更好服務靈活多變的業務場景，為資料分析提供有效介面。目前，資料治理體系的研究相當成熟，可適應於不同的應用場景。本文在借鑑通用資料治理體系的基礎上，結合工業資料的資料來源、資料特點及業務場景等核心要素，搭建面向工業生產的資料治理體系，如圖1所示。

圖 1 資料治理體系框架

為保證資料資產不流失，對源資料和分析資料進行物理隔離，源資料按照原始格式保留儲存在本地伺服器中，分析資料則經過資料治理後進行儲存，對非必要資料進行歸檔或銷燬。該資料治理體系框架囊括元資料管理、主資料管理、資料標準管理、資料質量管理、資料生命週期管理、資料組織、資料安全及資料服務環節，環節間相互協同和依賴，形成全方位、多層次、多角度的資料治理框架。

2.2.2 元資料管理

元資料的定義是“關於資料的資料”，元資料反映了資料的交易、事件、物件和關係等。通過元資料管理可繪製資料地圖、統一資料口徑、標明資料方位、分析資料關係以及精確到欄位級別的影響分析，方便資料的跟蹤和回溯。

圖 2 工業元資料管理

在工業領域中，元資料主要包括技術元資料和業務元資料，如圖2所示。其中技術元資料具體為：物理資源的元資料(伺服器、作業系統等)、資料來源元資料(閘道器地址等)、儲存元資料(指標說明、資料結構、儲存屬性、管理屬性等)、共享元資料(介面方式、格式等)等方面；業務元資料具體為：模型元資料(特徵工程、評估標準等)、分析元資料(業務流程、業務規則等)方面。基於工業元資料管理，可構建元模型進行元資料自動化採集，實現企業資訊化資產梳理、資料地圖、資料血緣分析等功能。

2.2.3 主資料管理

主資料是指滿足跨部門、跨業務協同需要的系統共享資料，在各個業務部門中被重複使用，如客戶、供應商、資產、產品、物料單、賬戶等資料。工業主資料管理流程由業務治理、標準治理、質量治理組成，如圖3所示。

圖3工業主資料管理

在工業製造領域中，主資料結合物聯網資料可以實現不同的業務場景需求。例如，若要了解或預測物料的庫存情況以提高生產排程效率，可將原料消耗的感測器資料與物料單主資料進行關聯分析，從而感知到物料的庫存情況。因此，通過將高價值、高共享、相對穩定的主資料與物聯網資料相關聯，結合機器學習、深度學習等演算法，可實時評估企業的生產運營情況以做針對性的調整。

2.2.4 資料標準管理

資料標準管理的目標是設計一套標準體系，包括資料質量標準、資料操作標準、資料應用標準，形成一個可流通、可共享的資訊平臺。資料標準主要由業務定義、技術定義和管理資訊三部分構成，業務定義包括業務、名稱和介面等方面的定義，技術定義包括資料型別、資料結構等方面的定義，管理資訊包括所有者、管理人員等方面的定義，如圖4所示。

圖4 工業資料標準管理

在工業製造領域中，大資料標準一般以業界的標準為基礎，如元資料管理標準(ISO-11179，CWM，DCMI)、資料質量標準(ISO-8000，ISO-25012)以及資料安全標準(ISO-27001)，結合工業資料的特點對資料進行規範化，一般會包括資料格式、資料質量、資料語義、編碼規則、字典值等內容，減少資料孤島、流轉不暢、應用繁瑣等問題的發生。

2.2.5資料質量管理

資料質量管理是工業資料治理的關鍵，是資料應用的前提，為企業風險把控、分析決策、生產運營提供更精準的高質量資料，提升工業資料分析的效率。工業資料質量管理如圖5所示。

圖5 工業資料質量管理

傳統的質量評估體系過於繁雜，結合工業資料和業務場景，基於完整性、準確性、規範性、唯一性、一致性、關聯性、可追溯性等構建合理的資料質量評估體系，並根據工業實際生產情況，對質量評估體系細化：

(1)生產控制資料：生產控制指標若出現不完整、不一致等問題，或導致異常調控不及時等情況發生。因此，對生產控制指標的資料質量管理提高優先順序，保障生產流程的正常運轉。

(2)感測器資料：感測器資料監測生產過程中的運作情況，可實時感知生產異常，並及時優化調整。因此，要提高感測器資料接入的及時性、一致性。

(3)故障記錄資料：為保證生產裝置的穩定運轉，需要對裝置故障記錄進行分析診斷，因此需要保證裝置故障記錄資料的可靠性和可追溯性。

(4)庫存物流資料：庫存物流管理是生產、計劃和控制的基礎。通過保證庫存物流資料的及時性和完整性，能夠優化生產週期，保證生產的良性迴圈。

2.2.6 資料生命週期管理

採用科學的資料生命週期管理能夠提高系統執行效率，大幅減少資料儲存成本，更好服務客戶需求。資料生命週期包含線上階段、歸檔階段、銷燬階段三大階段，如圖6所示。

圖6 工業資料生命週期管理

本文對工業領域的各應用系統資料進行提煉和分類，在資料生命週期的各個階段制定有效的管理策略。首先，將光工業應用系統按產品線進行劃分，確定資料類別，規定資料有效期，從而建立完整的資料有效期管理工作規範體系。然後，針對長有效期資料，在有效期結束後採用低成本儲存介質儲存，採用線上和離線的方式逐步歸檔資料。最後，銷燬冗餘資料，節約資料儲存資源。可以看出，資料生命週期管理能夠大幅提升高價值資料的查詢效率，同時減少高價格的儲存介質的採購成本。

2.2.7 資料組織

資料組織的目的是根據資料應用需求，採用標準統一、流程規範的方案分類構建資料資源庫，進一步強化大資料內部關聯。資料組織主要包括原始庫、知識庫、主題庫等。

(1)原始庫：原始庫儲存原始業務場景資料。工業原始資料主要包括裝置監測資料、生產流程記錄、產品檢驗資料、生產異常資料及生產運營資料等。

(2)知識庫：知識庫指工業領域的業務經驗資料和規則方法集合，包括資料接入、處理、服務以及工業通用模型所涉及的知識性資料和規則方法。工業知識庫主要包括原料特性、裝置引數、產品設計、生產原理、行業動態等。

(3)主題庫：主題庫對原始資料和資源資料根據分析和服務的目的進行劃分，形成不同主題的資料集合。工業資料主題庫主要包括人員主題庫、裝置主題庫、原料主題庫、生產方法庫、生產環境庫等。

2.2.8資料安全

工業生產中的重要且敏感資料大部分集中在應用系統中，例如原料配方、控制策略等工藝引數資料，以及客戶資訊、生產計劃、資產資訊等生產運營資料，敏感資料洩露對企業的影響是不可逆的，凸顯出資料安全在資料治理過程中的重要性。資料安全包括以下三點：

(1)資料儲存安全：包括物理安全、系統安全儲存資料的安全，主要通過安全硬體的採購來保障資料儲存安全。

(2)資料傳輸安全：包括資料加密和資料網路安全控制，通過專業資料安全廠商提供技術保障。

(3)資料使用安全：基於業務系統層面，建立完善的資料安全管理體系、審查機制。對生產及研發測試過程中使用的各類敏感資料進行嚴密管理。

2.2.9 資料服務

資料治理是為了更好地利用資料，是資料應用的基礎。基於工業領域的業務需求，大體劃分為三個方向：應用支撐、工具應用及業務應用。應用支撐服務包括知識圖譜構建、資料服務匯流排和服務管理等服務型別；工具應用服務包括生產查詢檢索服務、模型分析服務和資料管理服務等服務型別；業務應用服務包括產品溯源、異常預警和視覺化大屏等服務型別。通過對海量資料的集中、整合、挖掘和共享，結合全方位、多層次的資料服務體系，增強了異常處理的實時性和前瞻性，推動工業向資訊化、智慧化轉型。

3 工業數字化之資料治理實踐

本文基於工業資料治理體系，以光纖生產為背景，探索工業資料治理在光纖生產領域的應用實踐。採用大資料分散式架構實現對資料的採集、清洗、儲存。構建資料地圖並進行資料血緣分析，採用智慧演算法實現資料對齊、生產異常自動識別與預警。對比了資料治理前後產品資料分析的優化效果，搭建了數字化大屏，呈現視覺化的資料治理成效，最後總結了資料治理為光纖生產帶來的產品質量和效率的提升。

3.1 資料地圖

資料地圖的構建屬於資料治理中的元資料管理環節。光纖工業的資料來源廣，數量多，分散性強。傳統的資料管理方式查詢資料的成本較高。通過大資料採集儲存技術，追蹤從上游產品光纖預製棒至下游產品光纜的各項生產環節的原料、工況、質量等相關資料，能夠實現資料串聯，打通資料孤島。資料地圖如圖7所示。

圖7 資料地圖

經過資料治理之後，在對光纜成品進行質量分析時，分析人員能夠利用資料地圖進行資料血緣分析，跟蹤資料來源並分析任務依賴，輕鬆追溯到上游生產中的光纖拉絲、光纖預製棒生產環節的相關資料，而不僅僅侷限於當前的生產環節，從而獲得更有價值的分析結果。

3.2 資料對齊

資料對齊屬於資料治理中的資料質量管理環節。以光纖預製棒的製造為例，由於預製棒在生產過程中發生了多次形變，後期預製棒測試資料無法與前期感測器記錄的生產資料相對應。為了展開後續的質量分析研判工作，需要將測試資料與生產資料對齊。

通過對預製棒生產過程中的棒體尺寸資料等記錄資料，採用膨脹點對映等智慧演算法對預製棒收縮和拉伸的過程進行建模還原，能夠實現各個測試點位與生產時間段的對應，提升資料質量豐富資料量的同時，為後續人工智慧建模分析打下良好基礎。

圖 8 資料對齊前後建模誤差對比

圖8展示了資料對齊前後預製棒BA比(芯層直徑與包層直徑之比)的建模預測誤差率，曲線越靠下表示預測誤差越低。可以看出，經過資料治理後，同樣樣本量下，由於資料對齊後能夠進行測點分段對映，擴充了模型訓練資料，使得基於隨機森林的迴歸預測模型建模預測誤差率明顯降低。

3.3 異常識別與預警

傳統異常告警機制具有告警模型單一，人工識別工作量大等缺陷，人工標註效率較低，而且誤標、漏標率較高。光纖工業的常見異常型別包括脈衝型異常，階躍型異常以及模式異常，基於大量資料採用時序差分特徵和時間窗統計特徵構建的時間序列異常識別模型，能夠實現複雜環境下的異常告警需求，同時極大提高歷史異常識別效率，原本進行資料的收集、整理，再人工對異常進行標註的工作需要花費數天時間，通過資料治理整合異常識別模型後，只需要花費幾分鐘的時間即可完成歷史異常的識別和分析。

3.4 資料分析週期優化

在光纖工業中，針對產品品質的資料分析是生產過程中的重要環節，需要不斷通過分析確定工藝引數的調整方向，以此改善生產品質，保證生產穩定性。

開展資料治理前，資料分析的週期長、工作量大，分析的資料量也比較有限。在實施資料治理之後，採用雲端採集和線上分析，代替過去手動採集和離線分析的方式，同時保證了資料的準確性和完整性，大大減少分析人員在繁瑣的資料預處理任務中耗費的時間。資料治理前後對比如表1所示。

表1 資料治理前後對比

雲端採集線上分析的方式能夠避免資料的二次傳輸，同時能夠利用伺服器資源輔以定製化的資料分析工具產出分析結果，有效提高資料分析效率，資料分析週期由原來的3～7天縮短到了現在的當日產生資料，當日產出分析結果。在未來，將實現採集即服務，分析即服務的分析模式，保證資料高質量的同時實現毫秒級的資料分析反饋。

3.5 數字化大屏

將資料治理工作通過視覺化方式展現，直觀體現資料治理成果，提供企業運營、生產狀況、產品畫像等主題的大展示，實時呈現光纖工業生產運營狀況，如圖9所示。

圖 9 數字化大屏

企業運營大屏展現了企業光棒、光纖、光纜的原料、生產、檢驗、倉儲、銷售等關鍵環節的資訊。

生產狀況大屏通過綜合產量、良品率、穩定性、資源消耗等多方面因素建立的分析模型為產線評分，直觀展現產線整體情況。

產品畫像大屏基於歷史生產資料、質量測試資料構建產品畫像，以質量資料為導向回溯生產資料，量化展示產品質量差異的原因。

3.6 產品質量與效率提升

目前，企業在光纖預製棒、光纖拉絲中有諸多方面的提升，如表2所示。其中在光纖預製棒階段，生產過程中內部形成雜質和氣泡，會嚴重影響後續光纖拉絲過程。經資料治理後，資料質量提高，通過資料分析與建模，不斷優化生產工藝，有效降低預製棒的氣泡缺陷率，改善光纖預製棒的均勻性和重複性，良品率大幅度提升，達到投產門檻；在光纖拉絲階段，在拉絲提速、塔斷及告警反饋等方面的業務痛點方面有明顯的改善，拉絲良品率有效提升。

表2 產品質量與效率提升

4 結論

本文介紹了資料治理的發展現狀，分析了工業資料的特點，構建了一套面向工業的資料治理體系，並結合資料治理應用案例驗證資料治理的成效。以光纖生產為背景，應用案例表明，該工業資料治理體系作為工業數字化轉型的支撐點，能夠極大簡化資料管理流程，減少人工工作量，提高資料價值密度，提升資料探勘效率，為不同的業務分析場景提供高質量的資料介面，有效推動企業向數字化、智慧化發展。

--------END--------