【大資料】以航空大資料為例，一窺企業資料架構規劃和治理之道
作者介紹
劉慶會，主要負責普元大資料治理產品的實施，十年大型企業資訊資料治理架構設計與建設經驗，為多家大型金融機構、企業設計與規劃資料管理整體框架和專案實施。對資料行業有著深入的研究和洞察，並在企業資訊化平臺建設、資料治理及大資料平臺建設有著豐富經驗。
宣告：本文轉自EAWorld（eaworld）公眾號
目錄大綱：
1、航空業資料治理現狀
2、航空業大資料治理的三個發展趨勢
3、規劃企業資料架構的兩種模式
4、規劃企業資料架構的三個關鍵技術
5、總結
一、航空業資料治理現狀
目前航空行業資料治理已經逐步開展起來，驅動航空行業開展資料治理工作的因素與證券、銀行、通訊領域不同。證券行業有證監會33條規定，銀行業有銀監會要求在2017年7月份開始實施報送資料標準化規範要求，這些外在監管要求促使了證券、銀行必須開展資料治理方面的建設。
這些年航空公司的資訊化快速發展，積累了很多有價值的資料。但擁有資料，並不意味著擁有資料資產。
如何將企業的資料轉化為資料資產？我們知道企業在日常運營過程中產生的資料，只是一些原材料，存在不可知、不可信、不可取等問題。要想將其轉化為資料資產，需要藉助大資料治理打通資料和資訊的通道，從而為挖掘資料價值、業務創新提供決策支援，以滿足客戶的個性化服務的要求。
通過對國內兩家大型航空公司資料治理專案的實施以及中小航空公司資料治理的交流探討，筆者總結出航空資料現狀總體面臨著散、亂、難問題，資料資產分佈散、資料定義亂、資料管理難，這使得航空業大資料治理呈現出三個趨勢。
二、航空業大資料治理的三個發展趨勢
趨勢1：集中管理企業資料資產
針對分散在企業各個系統的資料資產，對企業資料資產進行盤點，實現對資料資產的統一集中管理。管理的內容包DB資料資產、介面資料資產、報表資料資產、指標標準和企業資料模型等。
趨勢2：提升企業資料洞察能力
通過資料治理構建資料洞察能力趨勢，舉個例子說：小張是銷售部門的資料分析員，現在需要做一個2017年“春運”的市場和銷售情況分析。他知道需要航班日期、起落機場、機型、收入、成本等這些基本資料，並且這些基礎資料來源於航班運控系統。但他想分析中加入航油、腹艙貨運，天氣對航班的影響。這些資料有沒有？從哪裡取？連他這個老員工都不清楚，就更不用說新員工了。
通過大資料治理，提升企業對資料資產洞察能力，可以快速定位到需要的資料。
趨勢3：規劃企業資料架構
簡單來說，資料架構就是“人對企業業務的表達、記錄，並轉化為計算機可處理的格式”，是連線資料與資訊的橋樑，部分航空公司為了適應這個趨勢，專門成立了資料架構部，負責建立維護管理企業整體資料架構。
我們認為企業的資料架構，主要有三個元件構成，分別是資料標準、企業模型和資料儲存結構，如下圖所示：
標準在最上層，是總體綱領，企業模型在中層，最下層是資料資源儲存結構，層次是這樣劃分的。但在實際建立的過程中，是一個由下而上的方式，通常是在現有資料儲存結構的基礎上，設計企業資料模型，然後歸併資料項，形成資料標準。
通過大資料治理，可以規劃統一、標準的資料架構，為企業資訊化建設提供規範和標準，使得在業務層和應用層之間，做各個操作型應用的設計、開發；在各個操作型應用和資料層之間，做業務系統資料結構的設計以及資料整合；在分析型應用和資料層之間，做資料獲取、分析，從而指導規範企業資訊化建設。
三、規劃企業資料架構的兩種模式
規劃企業資料架構，通常有兩種典型的模式：
模式一：從技術到業務，也可以稱為Bottom-up模式。典型特徵是先定義主題域，在從現有操作性資料結構出發，通過調研和訪談，規劃資料架構，實現資料到資訊的打通。
模式二：從業務到技術，也可以稱為Top-Down模式。特徵是以業務流程為主線，串聯業務單元、業務環節、業務活動。分析業務活動所需的實體、屬性。通過調研訪談，確認最終業務使用者的資料需求和KPI績效考核標準。整合在一起，再結合現有的資料結構，規劃企業資料架構，實現資料到資訊的打通。
兩種工作模式沒有好壞之分，需要根據企業的資料現狀，採用適合自身的工作模式。
從技術到業務模式的經典案例
藉助資料治理工具，實現對企業資料資產的盤點，盤點資料資產管理的物件包括資料從業務系統到資料倉庫、集市、報表的流轉加工關係。盤點的範圍是以數倉為核心，構建業務系統到數倉、數倉到資料分析應用的全鏈路資料資產盤點。
在資料資產盤點的基礎參考同業案例或經驗，劃分資料主題域。在專案中我們借鑑達美航空經驗確定了13個數據主題域，同時又分析了數倉的模型中2000多個實體，對現有系統的資料結構進行調研確認，從而構建了企業資料模型。
在企業資料模型的基礎上，對資料項進行歸併、指標口徑的標準化，抽象出資料標準層，形成統一資料架構，提升資料服務能力。
從業務到技術模式的經典案例
模式一以現有企業資訊化系統資料結構為基礎。模式二以業務流程切入，以業務環節中的獲取資訊為基礎，彙總企業資料項的資訊。
下圖是某航空公司飛機執行生命週期管理業務流程。從規劃發展部做飛機引進計劃，到飛機投入運營，再到飛機退出，每個業務環節都會產生業務資料。在梳理的工程中，會從業務部門收集業務流程的各環節涉及的資料集和資料項資訊。
然後對資料項進行整合，按照資料項使用的熱度，頻率、關聯度等，整合資料項、程式碼、指標度量、維度等，在結合（國際/國內）同業經驗，形成某業務域的資料架構。
在構建企業統一資料架構過程中會遇到各種問題，在關於裝置主題域資料項制定的過程中，就發現了一個飛機號B5917，卻存在三個不同的叫法，有的系統叫飛機尾號、有的叫飛機號，還有的叫飛機裝置尾號。總之，各系統存在資料項業務含義不統一的地方。在梳理過程中要弄清楚資料的來源，來源不唯一的情況下還要從業務角度劃分資料的責任方。最終確定統一的名稱和業務含義。
下圖是我們在某航空公司構建資料標準示例，我們可以看到，航空業資料標準主要包括指標標準、業務術語、基礎編碼和資料項。
四、規劃企業資料架構的三個關鍵技術
通過合理規劃企業的資料架構，可以打通資料與資訊的通道。這裡列出了3個關鍵技術，來幫助企業快速合理地規劃企業資料架構，實現資料到資訊的轉換。
關鍵技術1：自動化資料資產收集技術
通過自動化資料資產收集，需要完成以下幾件事：
梳理全企業資料架構，對企業的資料模型、資料關係、資料處理有清晰化的認識；
對資料資產形成統一的自動化管理，形成企業的元資料庫；
對企業資料資產形成多種檢視，使資料資產能夠對不同使用者，有不同視角的展示。
從一定程度上來說，元資料採集的全面性和準確性決定了自動化資料資產收集的成敗，是否能夠對大資料、資料倉庫、關係型/非關係型資料庫、資料模型、主流ETL工具等實現自動化的元資料採集是關鍵。
關鍵技術2：資料資產自動分類實現技術
通過元資料聚類能力，形成資產密度分類，結合已有的的模型體系進行歸類和整合。將收集的元資料分類歸集到資訊模型上，形成多維度的、完整的模型體系，從而貫通業務技術。這裡面需要元資料產品具備自動化的分類引擎以及可擴充套件的元模型管理能力。
關鍵技術3：資料資產質量自動監控技術
資料資產質量自動監控，要求能夠從資料的準確性、完整性、及時性、一致性等六性的維度，對資料資產的質量進行管理，從資料問題定義、問題發現、問題處理、問題跟蹤和問題評估統計5個環節，構建資產質量的閉環管理流程。
五、總結
航空資料現狀總體面臨著資料資產分佈散、資料定義亂、資料管理難等常見問題，集中管理資料資產、提升企業資料洞察能力、規劃企業資料架構是航空業應用大資料治理的三大趨勢。
其實不只在航空行業，各個行業在將企業資料轉化為資料資產的過程中，打通資料與資訊的通道都是關鍵的一環。通過自動化收集、自動化分類、自動化資料質量監控等技術手段，可以輔助企業規劃統一、標準的資料架構，最終為資料轉化為資訊（資料資產）提供可靠、可行的途徑。
人工智慧賽博物理作業系統
AI-CPS OS
“人工智慧賽博物理作業系統”（新一代技術+商業作業系統“AI-CPS OS”：雲端計算+大資料+物聯網+區塊鏈+人工智慧）分支用來的今天，企業領導者必須瞭解如何將“技術”全面滲入整個公司、產品等“商業”場景中，利用AI-CPS OS形成數字化+智慧化力量，實現行業的重新佈局、企業的重新構建和自我的煥然新生。
AI-CPS OS的真正價值並不來自構成技術或功能，而是要以一種傳遞獨特競爭優勢的方式將自動化+資訊化、智造+產品+服務和資料+分析一體化，這種整合方式能夠釋放新的業務和運營模式。如果不能實現跨功能的更大規模融合，沒有顛覆現狀的意願，這些將不可能實現。
領導者無法依靠某種單一戰略方法來應對多維度的數字化變革。面對新一代技術+商業作業系統AI-CPS OS顛覆性的數字化+智慧化力量，領導者必須在行業、企業與個人這三個層面都保持領先地位：
重新行業佈局：你的世界觀要怎樣改變才算足夠？你必須對行業典範進行怎樣的反思？
重新構建企業：你的企業需要做出什麼樣的變化？你準備如何重新定義你的公司？
重新打造自己：你需要成為怎樣的人？要重塑自己並在數字化+智慧化時代保有領先地位，你必須如何去做？
AI-CPS OS是數字化智慧化創新平臺，設計思路是將大資料、物聯網、區塊鏈和人工智慧等無縫整合在雲端，可以幫助企業將創新成果融入自身業務體系，實現各個前沿技術在雲端的優勢協同。AI-CPS OS形成的數字化+智慧化力量與行業、企業及個人三個層面的交叉，形成了領導力模式，使數字化融入到領導者所在企業與領導方式的核心位置：
精細：這種力量能夠使人在更加真實、細緻的層面觀察與感知現實世界和數字化世界正在發生的一切，進而理解和更加精細地進行產品個性化控制、微觀業務場景事件和結果控制。
智慧：模型隨著時間（資料）的變化而變化，整個系統就具備了智慧（自學習）的能力。
高效：企業需要建立實時或者準實時的資料採集傳輸、模型預測和響應決策能力，這樣智慧就從批量性、階段性的行為變成一個可以實時觸達的行為。
不確定性：數字化變更顛覆和改變了領導者曾經仰仗的思維方式、結構和實踐經驗，其結果就是形成了複合不確定性這種顛覆性力量。主要的不確定性蘊含於三個領域：技術、文化、制度。
邊界模糊：數字世界與現實世界的不斷融合成CPS不僅讓人們所知行業的核心產品、經濟學定理和可能性都產生了變化，還模糊了不同行業間的界限。這種效應正在向生態系統、企業、客戶、產品快速蔓延。
AI-CPS OS形成的數字化+智慧化力量通過三個方式激發經濟增長：
創造虛擬勞動力，承擔需要適應性和敏捷性的複雜任務，即“智慧自動化”，以區別於傳統的自動化解決方案；
對現有勞動力和實物資產進行有利的補充和提升，提高資本效率；
人工智慧的普及，將推動多行業的相關創新，開闢嶄新的經濟增長空間。
給決策制定者和商業領袖的建議：
超越自動化，開啟新創新模式：利用具有自主學習和自我控制能力的動態機器智慧，為企業創造新商機；
迎接新一代資訊科技，迎接人工智慧：無縫整合人類智慧與機器智慧，重新
評估未來的知識和技能型別；
制定道德規範：切實為人工智慧生態系統制定道德準則，並在智慧機器的開
發過程中確定更加明晰的標準和最佳實踐；
重視再分配效應：對人工智慧可能帶來的衝擊做好準備，制定戰略幫助面臨
較高失業風險的人群；
開發數字化+智慧化企業所需新能力：員工團隊需要積極掌握判斷、溝通及想象力和創造力等人類所特有的重要能力。對於中國企業來說，創造兼具包容性和多樣性的文化也非常重要。
子曰：“君子和而不同，小人同而不和。” 《論語·子路》雲端計算、大資料、物聯網、區塊鏈和 人工智慧，像君子一般融合，一起體現科技就是生產力。
如果說上一次哥倫布地理大發現，拓展的是人類的物理空間。那麼這一次地理大發現，拓展的就是人們的數字空間。在數學空間，建立新的商業文明，從而發現新的創富模式，為人類社會帶來新的財富空間。雲端計算，大資料、物聯網和區塊鏈，是進入這個數字空間的船，而人工智慧就是那船上的帆，哥倫布之帆！
新一代技術+商業的人工智慧賽博物理作業系統AI-CPS OS作為新一輪產業變革的核心驅動力，將進一步釋放歷次科技革命和產業變革積蓄的巨大能量，並創造新的強大引擎。重構生產、分配、交換、消費等經濟活動各環節，形成從巨集觀到微觀各領域的智慧化新需求，催生新技術、新產品、新產業、新業態、新模式。引發經濟結構重大變革，深刻改變人類生產生活方式和思維模式，實現社會生產力的整體躍升。
產業智慧官 AI-CPS
用“人工智慧賽博物理作業系統”（新一代技術+商業作業系統“AI-CPS OS”：雲端計算+大資料+物聯網+區塊鏈+人工智慧），在場景中構建狀態感知-實時分析-自主決策-精準執行-學習提升的認知計算和機器智慧；實現產業轉型升級、DT驅動業務、價值創新創造的產業互聯生態鏈。
長按上方二維碼關注微信公眾號： AI-CPS，更多資訊回覆：
新技術：“雲端計算”、“大資料”、“物聯網”、“區塊鏈”、“人工智慧”；新產業：“智慧製造”、“智慧金融”、“智慧零售”、“智慧駕駛”、“智慧城市”；新模式：“財富空間”、“工業網際網路”、“資料科學家”、“賽博物理系統CPS”、“供應鏈金融”。
官方網站：AI-CPS.NET
本文系“產業智慧官”（公眾號ID：AI-CPS）收集整理，轉載請註明出處！
：由產業智慧官（公眾號ID：AI-CPS）推薦的文章，除非確實無法確認，我們都會註明作者和來源。部分文章推送時未能與原作者取得聯絡。若涉及版權問題，煩請原作者聯絡我們，與您共同協商解決。聯絡、投稿郵箱：[email protected]