• 資料流動
• 資料治理與資料安全治理
• 技術詮釋

資料流動

• 資料採集

  • 系統日誌採集，業界所採用到的技術工具包括Fluentd,Logstash,Flume,Scribe,Logagent,Logtail

  • 資料庫採集，採集的資料庫常用的是MySQL,Oracle,Redis,MongoDB,目前針對大資料採集分析技術是基於Hive

  • 網路資料採集，一般兩種方式分別為網路爬蟲和公共API的方式獲取；這類資料採集過來的為非結構化資料和半結構化資料，然後對其進行清洗轉換為結構化資料，統一儲存到本地檔案的資料。

    • 網路爬蟲工具很多種上達百種以上，主要分為三類，具體如下：
      1.分散式網路爬蟲工具：Nutch

      2.Java網路爬蟲工具：Crawler4j,WebMagic,WebCollector

      3.非Java網路爬蟲工具：Scrapy

  • 感測器採集，感測器是一種檢測裝置，能用於感受被測量的資訊，並且能夠將檢測系統感受到的資訊按一定的規律變換成電訊號或其他所需形式的資訊輸出，以滿足資訊的傳輸、處理、儲存、顯示、記錄和控制等要求。

• 資料分析

  • 資料分析是一類統計方法，主要特點就是具有多維性和描述性；資料分析是對資料表明的關係進行分析，或者說是對資料價值的直接獲取，資料分析通常是藉助資料採集直接從資料來源中取出已有資訊，並進行統計，視覺化，得出文字結論的操作。
  • 資料分析需要藉助人工智慧的相關技術演算法來對快速的對資料進行篩查和分析操作
  • 人工智慧技術其中有一個分支是機器學習，嚴格來講人工智慧和機器學習並沒有直接的關係，只是機器學習被大量應用於解決人工智慧的問題而已。
  • 機器學習的學習形式分為三大類分別為監督學習，無監督學習，半監督學習。

• 資料關聯

  • 資料關聯是對資料內涵價值的獲取，可以通俗地理解為對資料分析的深化。資料分析和資料關聯並不是相互獨立的，因為在大多數情況下這種分析往往浮於表層，需要更進一步地分析這些已有資訊背後隱藏的價值資訊，所以這些資訊通過觀察往往是看不到很大的價值，至此資料關聯就應運而生了。

• 資料質量與資料價值

  • 資料質量在國際資料管理協會中的《資料管理知識手冊》中規定，資料質量(DQ)既指與資料有關的特徵，也指用於衡量或改進資料質量的過程。
  • 資料問題中資料質量的問題都有可能產生於從資料來源頭到資料儲存介質的各個環節，在資料採集階段，資料的真實性，準確性，完整性，時效性都會對資料質量產生影響。
    • 真實性：資料來源是否真實可靠
    • 準確性：資料資訊是否準確，具有代表性
    • 完整性：資料資訊是否存在缺失
    • 時效性：資料資訊是否存在滯後
    • 除了上述之外，資料在後續的加工，儲存過程都有可能涉及到對原始資料的修改，從而引發資料質量的問題
  • 評估資料質量
    • 完整性：資料記錄和資訊是否完整，是否存在缺失
    • 一致性：資料記錄是否符合規範，是否與前後及其他資料集保持統一
    • 準確性：資料中記錄的資訊和資料本身是否準確，是否存在異常或錯誤資訊
    • 及時性：根據資料從產生到可以檢視的時間間隔來確定資料資訊是否滯後，這裡的時間間隔也稱為資料的延時時長

資料治理與資料安全治理

• 資料治理各種不同的概念

  • 我國資訊科技服務標準（ITSS）體系中的《資訊科技服務治理第5部分：資料治理規範》中，將資料治理定義為資料資源及其應用過程中相關管控活動、績效和風險管理的集合。
  • 資訊科技大資料術語》（GB/T 35295—2017）和《資料管理能力成熟度評估模型》（GB/T 36073—2018）中，將資料治理定義為對資料進行處置、格式化和規範化的過程，是資料和資料系統管理的基本要素，涉及資料全生命週期管理，包括靜態、動態、未完成狀態和交易狀態。
  • 中國銀保監會發布的《銀行業金融機構資料治理指引》明確指出，（行業內的）資料治理是指銀行業金融機構通過建立組織架構，明確董事會、監事會、高階管理層及內設部門等各級組織職責要求，制定和實施系統化的制度、流程和方法，確保資料統一管理、高效執行，並在經營管理中充分發揮資料價值的動態過程。
  • 國際標準化組織的IT服務管理與IT治理分技術委員會（ISO/IEC JTC1/SC40）給出的關於資料治理的概念主要建立在IT治理的基礎上，將ISO/IEC 38500的IT治理框架和模型應用於資料治理，認為資料治理是IT治理的一個子集或子域，可通過持續的評價、指導和監督，平衡資料技術及其流程中的風險和收益，實現企業治理目標。換句話說就是，資料治理是資料在產生價值的過程中，治理主體對其進行評估、指導和監督的活動集合。
  • 國際資料管理協會（DAMA）關於資料治理的概念主要建立在資料管理的基礎上，他們認為資料治理是資料管理的核心，是對資料資產行使權力和控制的活動集合（包括計劃、監控和執行），可用於指導所有其他資料管理功能的執行，從更高的層次執行資料管理。
  • 國際資料治理研究所（DGI）認為，資料治理和資料管理是兩個完全獨立的概念，並將資料治理定義為對資料相關事項做出決策和行使職權的活動，具體定義為：一套資訊相關過程的決策與問責體系，根據商定的模型執行，這些模型描述了誰可以根據什麼資訊在什麼時間和情況下用什麼方法採取什麼樣的行動。
  • 國際知名IT諮詢與研究機構Gartner認為，資料治理是一套決策權規範和問責框架，用於確保資料和分析在評估、建立、使用及控制過程中做出適當的行為。

• 資料安全治理

  • Gartner-DSG

    • 資料安全治理的理念最早是由Gartner正式提出，Gartner認為，資料安全治理絕不僅僅是一套用工具組合而成的產品級解決方案，而是從決策層到技術層，從管理制度到工具支撐，自上而下貫穿整個組織架構的完整鏈條。組織內的各個層級之間需要對資料安全治理的目標和宗旨取得共識，從而確保採取合理、適當的措施，以最有效的方式保護資訊資源，同時，資料安全治理還應具備以下流程
    • 步驟1：確保業務需求與安全（風險/威脅/合規性）之間的平衡。這裡需要考慮如下5個維度的平衡：經營策略、治理、合規、IT策略和風險容忍度，這也是治理隊伍開展工作前需要達成統一的5個關鍵要素。
    • 步驟2：劃分資料優先順序。對資料進行分級分類，以此對不同級別的資料採取合理的安全措施。
    • 步驟3：制定策略，降低安全風險。我們可以從如下兩個方向考慮如何實施資料安全治理：一是明確資料的訪問者（指應用使用者或資料管理人員）、訪問物件和訪問行為；二是基於這些資訊制定不同的、有針對性的資料安全策略。
    • 步驟4：使用安全工具。資料是流動的，資料結構和形態會在整個生命週期中不斷變化，因此需要採用多種安全工具支撐安全策略的實施。Gartner在DSG體系中提出了實現安全和風險控制的5個工具：Crypto、DCAP、DLP、CASB和IAM，這5個工具分別對應於5個安全領域，其中可能包含多個具體的技術措施。
    • 步驟5：同步策略配置。同步策略配置主要針對DCAP的實施而言，集中管理資料安全策略是DCAP的核心功能，而無論使用訪問控制、脫敏、加密、令牌化中的哪種措施，都必須注意應讓資料訪問和使用的安全策略保持同步下發，策略執行物件應包括關係型資料庫、大資料型別、文件檔案、雲端資料等資料型別。

  • 微軟-DGPC

    • 針對資料安全治理，微軟提出了專門強調隱私、保密和合規的資料安全治理框架（DGPC），希望企業和組織能夠以統一的跨學科的方式來實現以下3個目標，而非組織內不同部門獨立實現；資料安全治理框架與企業現有的IT管理和控制框架（如COBIT），以及ISO/IEC27001/27002和支付卡行業資料安全標準（PCI DSS）等協同工作。資料安全治理框架圍繞3個核心能力領域進行組織，涵蓋了人員、流程和技術這三大部分。

  • 國內資料安全治理委員會

    • 國內資料安全治理委員會認為，資料安全治理是以“讓資料使用更安全”為目的，通過組織構建、規範制定、技術支撐等要素共同完成的資料安全建設的方法論。其核心內容包括如下4點。滿足資料安全保護（Protection）、合規性（Compliance）、敏感資料管理（Sensitive）這3個需求目標。核心理念包括分級分類（Classfiying）、角色授權（Privilege）、場景化安全（Scene）等。資料安全治理的建設步驟包括組織構建、資產梳理、策略制定、過程控制、行為稽核和持續改善等。核心實現框架包括資料安全人員組織（Person）、資料安全使用的策略和流程（Policy & Process）、資料安全技術支撐（Technology）這三大部分。

  • 國家標準-資料安全能力成熟度模型(DSMM)

    • DSMM將資料按照其生命週期分階段採用不同的能力評估等級，生命週期分為資料採集安全、資料傳輸安全、資料儲存安全、資料處理安全、資料交換安全、資料銷燬安全這6個階段。DSMM從組織建設、制度流程、技術工具、人員能力這4個安全能力維度的建設進行綜合考量，將資料安全成熟度劃分成5個等級，依次為非正式執行級、計劃跟蹤級、充分定義級、量化控制級和持續優化級，形成一個三維立體模型，全方位地對資料安全進行能力建設。

    • 能力成熟度等級維度

    • 1級（非正式執行）

      • 主要特點：資料安全工作是隨機、無序、被動執行的，主要依賴於個人，經驗無法複製。組織在資料安全領域未執行相關的有效工作，僅在部分場景或專案的臨時需求上執行，未形成成熟的機制來保障資料安全相關工作的持續開展。

    • 2級（計劃跟蹤）

      • 主要特點：在專案級別上主動實現了安全過程的計劃並執行，但沒有形成體系。
      • 規劃執行：對資料安全過程進行規劃，提前分配資源和責任。
      • 規範化執行：對資料安全過程進行控制，使用安全執行計劃，執行相關標準和程式，對資料安全過程實施配置管理。
      • 驗證執行：確認資料安全過程是按照預定的方式執行的。驗證執行過程與可應用的計劃是一致的，對資料安全過程進行審計。
      • 跟蹤執行：控制資料安全專案的進展，通過可測量的計劃跟蹤執行過程，當過程實踐與計劃產生重大偏差時採取修正行動。

    • 3級（充分定義）

      • 主要特點：在組織級別實現安全過程的規範定義並執行。
      • 定義標準過程：組織對標準過程實現制度化，形成標準化過程文件，以滿足特定用途對標準過程進行裁剪的需求。
      • 執行已定義的過程：充分定義的過程可重複執行，針對有缺陷的過程結果和安全實踐進行核查，並使用相關結果資料。
      • 協調安全實踐：通過對業務系統和組織進行協調，確定業務系統內各業務系統之間，以及組織外部活動的協調機制。

    • 4級（量化控制）

      • 主要特點：建立量化目標，使安全過程可量化度量和預測；為組織資料安全建立可測量的目標。
      • 客觀地管理執行，通過確定過程能力的量化測量來管理安全過程，將量化測量作為對行動進行修正的基礎。

    • 5級（持續優化）

      • 主要特點：根據組織的整體戰略和目標，不斷改進和優化資料安全過程。
      • 改進組織能力，對整個組織範圍內的標準過程使用情況進行比較，尋找改進標準過程的機會，分析標準過程中可能存在的變更和修正。
      • 提升改進過程的有效性，制定處於連續受控改進狀態下的標準過程，提出消除標準過程產生缺陷的原因和持續改進標準過程的措施。

    • 資料安全能力維度

    • 組織建設

      • 資料安全組織架構對組織業務的適應性。
      • 資料安全組織架構所承擔工作職責的明確性。
      • 資料安全組織架構運作、協調和溝通的有效性。

    • 制度流程

      • 資料生命週期的關鍵控制節點授權審批流程的明確性。
      • 相關流程、制度的制定、釋出、修訂的規範性。
      • 安全要求及實際執行的一致性和有效性

    • 技術工具

      • 評估資料安全技術在資料全生命週期的使用情況，並考察相關技術針對資料安全風險的檢測能力。
      • 評價技術工具在資料安全工作上自動化和持續支援能力的實現情況，並考察相關工具對資料安全制度流程的固化執行能力。

    • 人員能力

      • 資料安全人員所具備的安全技能是否滿足複合型能力要求。
      • 資料安全人員的資料安全意識，以及關鍵資料安全崗位員工的資料安全能力培養。

    • 資料安全過程維度

      • 在資料安全過程維度上，DSMM模型將資料生命週期分為資料採集、資料傳輸、資料儲存、資料處理、資料交換和資料銷燬這6個階段，裡面涉及30個過程域（PA）

技術詮釋

• Crypto(加密)
• DCAP(以資料為中心的審計和安全防護)
• CASB(雲訪問安全代理)
• DLP(資料防洩漏)
• IAM(身份識別與訪問管理)