1. 程式人生 > >CNCC2018 分論壇(14) | 大資料治理是什麼?怎麼做?

CNCC2018 分論壇(14) | 大資料治理是什麼?怎麼做?

現如今,大資料已經成為資產的一種,說到資產,它就一定存在價值。如何對大資料的價值進行評估?如何在經濟、社會活動中發揮它的價值?這是一個難以回答的問題,需要深入的研究探討。

 

2018中國計算機大會大資料治理分論壇從是什麼、為什麼、怎麼做三個方面來詮釋大資料治理體系,並舉出三個全然不同的案例,並進一步探討了大資料治理體系建設下國家標準化的工作。

 

在這裡我還是要推薦下我自己建的大資料學習交流裙:805127855, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴。
 
 

梅巨集:大資料治理需要完整的體系

人物小貼士:

梅巨集,北京理工大學黨委常委、副校長。中國科學院院士,發展中國家科學院院士,電氣和電子工程師學會會士。主要從事軟體工程和系統軟體領域的研究,在構件化軟體中介軟體、開發方法學和工具環境等方面取得了系列成果。

 

把資料當作一種資產來管理

 

明確將資料作為一種資產,可以將資料的歸屬、估值、交易管理等納入人類社會一般資產的管理體系,對於促進資料的確權、流通交易保護等具有重要的基礎性意義。例如美國的消費者隱私權利法案,明確了消費者對自身相關資料的所有權和控制權,指出消費者有權控制企業對個人資訊的收集和使用等。

 

資料管理體制機制

 

近年來,大資料技術發展迅猛,已成為國家戰略,相關技術成為研發熱點,大資料應用市場呈繁榮態勢。

 

大資料於2012、2013年發展迅猛,2014年後概念逐漸成熟,對其認知也趨於理性。2017年,大資料產業生態不斷完善,資料治理與資料安全成為重點實施領域。2018年,大資料與AI人工智慧共繪發展藍圖,大資料進入“資料化轉型”階段,資料驅動的業務真正落地。

 

梅巨集院士分析,一個良好的資料管理體制,不僅能促進資料產業的健康發展,也為國家掌控資料安全、維護使用者權益提供了有力的抓手。

 

大資料治理體系更將推動實現資料共享與開放,多個已有資訊系統中的資料,在實現了有效關聯、融合後,往往可以創造性地解決問題。

 

更重要的是,大資料治理能推動實現資料安全與隱私保護,以保證組織健康發展。

 

三方同發力,共建大資料治理體系

 

梅巨集院士解釋,治理來源於拉丁文和希臘語的“掌舵”一詞,它不同於管理,是多主體的行為。大資料治理體系框架中,國家、行業和組織三個層次相互關聯和支撐。大資料治理必須跳出單個組織的邊界,從營造國家大資料安全產業發展的環境視角來全面系統化考慮。國家完善法律,指導和監督大資料治理;行業做為政府和企業間的橋樑,監督企業行為,向政府傳遞需求;企業在國家與行業的框架下,追求大資料利益的最大化。

 安小米:政府如何構建大資料治理體系?

人物小貼士:

安小米,中國人民大學資訊資源管理學院教授,中國人民大學傑出學者。英國利物浦大學博士,中美富布萊特研究學者專案、英國謝菲爾德大學傑出學者訪問專案、瑞典國際發展合作署專案、教育部新世紀優秀人才支援計劃的獲得者;資料工程與知識工程教育部重點實驗室大資料治理研究中心負責人。

 

安小米教授在對貴陽大資料治理體系的考察中,發現政府大資料治理有兩點變化。

 

一是資料主體角色變化:政府由資料的控制者和監管者轉變為資料全力協調者和社會協同治理服務者。由資訊孤島轉向跨領域,跨地域,跨層級,跨系統,跨部門,跨業務的資訊資源協同管理和創新服務,二者需要多利益相關方合作聯盟的建立與跨學科複合型人才支援。

 

二是資料活動變化:資料的採集範圍更廣,儲存轉向熱備份、雲端儲存。資料的利用從個別部門的資料轉向政府資料集的整體開放,資料的維護由網際網路+社會協同治理。

在這裡我還是要推薦下我自己建的大資料學習交流裙:805127855, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴。
 
 

在對大資料體系的考察中,安教授團隊結合貴陽大資料治理情況,總結性地提出:構建政府大資料治理體系的有效路徑是平臺數據治理模式。資料資源的建設需要大系統共治,資料資源的收集需要大資料慧治,資料資源的使用需要大平臺共享精治。

蔣東興:證監會如何發展大資料管理技術?

人物小貼士:

蔣東興,中國證監會資訊中心副主任,研究員,負責證監會監管科技建設工作。曾任清華大學計算機與資訊管理中心主任、資訊化工作辦公室副主任等,主持了清華大學數字校園及資訊系統建設。

 

證監會高度重視大資料發展的戰略要求,重視資本市場金融科技和監管科技的發展,多次召開專題會議研究,強調要用現代技術手段促進監管效能,要大力提升監管科技化、智慧化水平。

 

根據證監會系統監督大資料治理要求,大資料工程建設內容包括:構建邏輯上融合的監管大資料平臺,設立多個靈活智慧的資料分析中心,提供多項標準專業分析服務,形成與中央監管資訊平臺的有效聯動。

 

蔣東興副主任針對證監業大資料治理現狀與行業特殊性,提出了分類分層描繪抽象模型。分類指應用元資料管理思想,將資料模型按照其自身的屬性分為原子、複合資料、可複用、語義獨立資料表示四個層次。分層是根據應用過程中的通用性差異,形成行業通用、業務條線通用、業務個性化三個層級。大資料治理策略與規劃還提出要建設證監會系統公共資料平臺,構建證監會系統資料服務體系,實現資料共享機制。

人物小貼士:

王紹翾,阿里巴巴資深技術專家,負責阿里巴巴大資料實時計算平臺和演算法平臺。現同時擔任國家重點科技研發計劃《雲端計算和大資料》重點專項《高時效、可擴充套件的大資料計算模型、優化技術與系統》課題的負責人。

 

企業為什麼要做資料治理?阿里巴巴資深技術專家王紹翾說到,阿里巴巴所擁有的資料量是Eb級別的,而且即將跨越進入下一個級別,始終保持著每天Pb級別的增長速率,每秒需要處理10億的資料量。對於一個企業來說,需要理解資料,才能夠充分發揮資料的價值。

 

做好資料治理的基礎是資料管理和大資料智慧分析兩部分,而資料管理是一個複雜的問題,要求企業盤點好資料資產,理解資料內容,構件資產類目,然後對資料內容進行評估。哪些是比較活躍的資料,哪些是不活躍的資料,資料到底有沒有被用,然後考量做這些資料計算背後的成本是多少。

 

王紹翾結合阿里巴巴資料處理經驗,分析了完成資料管理的關鍵因素:一是資產分類及資料掛載,資產概覽要全盤把握及科學分析資料資產,然後繪製資產地圖,可以清晰檢視及快速使用資料資產;二是資產評估,根據資料的貢獻度與連線度,將資料分成四類,然後進行資產活性分析來高效管控及合理應用資料資產,資產價值評估以準確評估及合理力量資料資產。

 

總得來說,企業要看清資產資料,降低管理成本,追蹤價值資料,以充分發揮已有資料的價值。而降本提效,保障安全則是資料治理長期不變的願景。

代紅:大資料治理體系建設下的國家標準化工作

人物小貼士:

代紅,中國電子技術標準化研究院資訊科技中心主任。畢業於北京航空航天大學,現任中國電子技術標準化研究院資訊科技研究中心主任、全國資訊科技標準化技術委員會委員和國家民委民族語文專家委員會委員。

 

國家標準化工作的目標是依據國家標準和已建立的資料管理能力評估體系,在地方選舉合作機構,幫助地方建立評估能力,推動地方評估工作,提升企業資料管理能力,摸清地方大資料企業發展水平和行業大資料發展狀態。大資料產品繁多,質量參差不齊,應在國內產業政策支援和引導下,積極開展大資料系統測試工作。

 

在大資料領域,標準化工作及其重要。大資料開放共享系列標準是未來資料領域發展的基礎,為後續開放共享的評價工作提供標準依據,相關地方政府和解決方案廠商正在積極參與國家標準的研製。其中大資料開放共享是大資料治理體系和生態環境建設關鍵環節,為形成共享和開放機制提供依據,為促進開放和共享提供手段,打破資料壁壘,消除資料障礙。

 

代紅介紹,標準化的工作必須是嚴謹全面的。國家標準的確立要先進行佐證參考,確定標準後進行推廣應用。在實驗的驗證檢驗下,不斷修改完善,做到與時代相吻合,以達到國家標準為社會樹立標杆的作用。

觀點總結

 

與會的幾位嘉賓針對大資料治理方面的缺陷進行了討論,表示一個完善的大資料管理體系需各方共同努力建立。將資料當作資產來管理,規範化國家標準,以推動實現大資料的共享與流動,完善資料安全與隱私保護,讓大資料產業健康發展。而這需要國家、行業、組織三個層次共同努力,三個層次相互關聯支撐,建立完善的大資料管理機制,讓大資料產業協調穩定高效的發展。

掃一掃,關注公眾號,獲取學習資料