資料採集安全管理

• 資料採集安全管理是整個資料採集安全階段的重要步驟，可用於明確資料採集的目的及用途，採集方式和方法，採集資料的格式等，用以保證資料採集過程的合規性，正當性和一致性。

建立負責資料採集安全的職能部門

• 理論上組織機構可以設定兩個資料採集安全團隊，一個團隊為資料採集安全管理團隊，主要負責為公司制定整體的資料採集安全合規管理制度，同時推動相關制度，要求和流程的落實和執行，另一個團隊則是為資料採集風險評估團隊，主要負責針對不同的業務或專案場景的資料安全，給公司提供評估服務，並給出相應的改建方案；企業需要根據自身情況好的情況設定兩個資料採集安全團隊，不好的情況就只設置一個數據採集安全團隊，全部負責制定合規制度和對應專案提供風險評估服務。

明確資料採集安全崗位的能力要求

• 熟悉國家網路安全法，以及組織機構所屬行業的政策和監管要求。
• 嚴格按照網路安全法和個人資訊安全防範等相關法律法規和行業規範執行。
• 熟悉組織機構的業務特徵，瞭解業務線的政策方向和戰略調整，具備良好的資料採集安全風險意識。
• 有針對性的風險評估報告和相應的解決方案，確保專案實施過程中資料採集能夠順利有序地進行。

資料採集安全崗位建設和人員能力評估方法

• 資料採集安全管理崗位的建設和對應人員實際執行能力的評估，可通過內部審計，外部審計等形式進行調研訪談，問卷調查，流程觀察，檔案調閱，技術檢測等多種方式實現。
• 1.調研訪談
  • 主要包含對公司資料採集安全部門管理人員和技術人員訪談兩部分，具體如下：
  • 資料採集安全部門管理人員的訪談內容：確認其是否能夠勝任資料採集理論技術方面。
  • 資料採集安全制度制定方面，資料採集法律法規方面的工作。
  • 公司是否對該團隊提供了足夠的資源支援，確認該團隊所制定的資料採集安全制度是否能夠得到有效的執行。
  • 資料採集安全風險評估技術人員訪談內容：確認其是否能夠勝任資料風險評估技術方面和資料採集安全風險意識方面的工作。
  • 確認該團隊是否清楚業務，專案的戰略發展方向，確認該團隊所提出的風險評估報告及解決方案是否有效。
• 2.問卷調查
  • 通過以紙面問卷的形式，向公司的業務部門調研資料採集風險評估團隊是否可以根據不同的業務場景提供有針對性的風險評估諮詢及解決方案，以及資料採集安全管理團隊是否制定了有效的，可執行的資料採集安全管理制度。
• 3.流程觀察
  • 資料採集安全管理階段的流程觀察，主要是觀察資料採集安全部門管理團隊和風險評估團隊兩方的工作流程，從中尋找可能存在的問題點和改善點，具體如下：
    • 對資料採集安全部門管理團隊的觀察內容為，：以中立的視角觀察該團隊的工作流程，包括該團隊在為公司制定資料採集安全相關的標準和制度時，流程是否符合標準，相關要求和制度設計是否合理，是否符合公司整體的環境要求，在推動相關要求制度和流程的實際應用時，是否符合規範，從而確認該團隊的實際工作情況。
    • 對資料採集風險評估團隊的觀察內容為：以中立的視角觀察該團隊的工作流程，首先確認該團隊評估的具體指標，如採集過程是否合規，採集過程安全要求是否達標，採集過程是否對其他相關工作產生影響，其次確認風險評估團隊在評估過程中的評分是否標準，合理，評估過程是否符合規範等。
• 4.技術檢測
  • 資料採集安全管理階段的技術檢測需要使用技術工具確認在實際採集資料的過程中，是否存在資料洩露的情況，是否設定了統一的資料採集策略，在進行資料採集之前是否獲得了被採集方的授權和同意。

明確資料採集的目的

• 資料採集過程涉及包括個人資訊和商業資料在內的海量資料，當前對個人隱私和商業祕密的保護提出了很高要求，為了防止個人資訊和商業資料濫用，採集過程需要獲得資訊主體的授權，期間需要遵守國家相關法律，行政法規的規定和使用者的約定，另外還要滿足法律法規的前提下，在資料應用和資料安全保護之間尋找一個適度平衡。
• 資料採集活動的主要操作包括但不限於下面內容：發現數據源，傳輸資料，生成資料，快取資料，建立資料來源，資料轉換，資料完整性驗證等。

確立資料採集的基本原則

• 資料採集活動，需遵循合法，正當，必要的原則，具體包括如下內容：
  • 權責一致：採取必要的技術和措施保障個人資料和重要資料的安全，若對資料主體的合法權益造成損害應承擔相應的責任。
  • 目的明確：具有明確，清晰，具體的資訊處理目的。
  • 選擇同意：向資料主體明示資訊處理的目的，方式和範圍等規則，徵求獲得其授權和同意。
  • 最小必要：只處理已獲得資料主體授權和同意的，所需的最少資料型別和數量，目的達成後，應及時刪除採集的資料。
  • 公開透明：以明確，易懂且合理的方式公開處理資料的範圍，目的和規劃等，並接收外部監督。
  • 確保安全：具備與應對安全風險相匹配的安全能力，並採取足夠的管理措施和技術手段，保護資料的機密性，完整性和可用性。
  • 主體參與：向資料主體提供能夠查詢，更正和刪除其資訊，以及撤回授權同意，登出賬戶和投訴等方法。

基於大資料的採集來源

• 大資料的採集主要有4種來源，分別為管理資訊系統，Web資訊系統，物理資訊系統和科學實驗系統。
  • 管理資訊系統：指企業，機關內部的資訊，如事務處理系統，辦公室自動化系統等，主要用於經營和管理，為特定使用者的工作和業務提供支援，資料的產生既有終端使用者的初始輸入，又有系統的二次加工處理，系統的組織結構是專用，資料通常是結構化。
  • Web資訊系統：包括網際網路中的各種資訊系統，如社交網站，社會媒體，系統引擎等，主要用於構造虛擬的資訊空間，為廣大使用者提供資訊服務和社交服務，系統的組織結構是開放式的，大部分資料是半結構化或無結構的，資料的產生者主要是線上使用者。
  • 物理資訊系統：指關於各種物理物件和物理過程的資訊系統，如實時監控，實時檢測等，主要用於生產排程，過程控制，現場指揮和環境保護等。系統的組織結構是封閉的，資料將由各種嵌入式感測裝置產生，既可以是關於物理，化學，生物等性質和狀態的基本測量值，也可以是關於行為和狀態的音訊，視訊等多媒體資料。
  • 科學實驗系統：實際上屬於物理資訊系統，但其實驗環境是預先設定的，主要用於學術研究等，資料是有選擇的，可控的，有時也可能是人工模擬生產的模擬資料，資料往往具有不同的形式。

明確資料採集方式

• 資料採集活動的目的是獲得資料，資料採集方式包括但不限於一下方式：
• 網路資料採集：指通過網路爬蟲或網站公開的API等方式，從網上獲取資料資訊，該方式可以將非結構化資料從網頁中抽取出來，將其儲存為統一的本地資料檔案，並以結構化的儲存方式呈現，網路資料採集方式支援圖片，音訊，視訊等檔案或附件的採集，附件與正文可以自動關聯。另外對於網路流量的採集可以使用DPI或DFI等寬頻管理技術進行處理。
• 系統日誌採集：各種網際網路企業都有自己的海量資料採集工具，例如：Hadoop的Chukwa,Cloudera的Flume,Facebook的Scribe等，這些工具均採用分散式架構。
• 其他資料採集：對於企業的生產經營資料或學科研究資料等對保密性要求較高的資料，可以通過與企業或研究機構合作或授權的方式，使用特定的系統介面來採集資料。

確定資料採集週期

• 資料採集週期根據實際資料的狀態分兩種情況：
  • 對實時檢測資料的採集，應按照實際工作條件制定資料採集週期，例如：系統連續進行10次採集，將10次採集時間的平均值作為系統的資料採集週期。
  • 對於系統生產基礎資料的採集，可直接採用固定期限加動態調整 的方式制定採集週期，例如：對於變化不大的資料資訊，採集週期可設定為6個月，涉及資料資訊變動與調整的，則可根據需要動態調整採集週期。

制定資料採集的安全策略

• 制定資料採集的安全策略目的是確保採集過程中的個人資訊和重要資料不會洩露。
  • 定義採集資料的目的和用途，明確資料的採集來源，採集方式，採集範圍等內容，並制定標準的採集模板，採集方法，策略和規範。
  • 遵循合規原則，確保資料採集的合法性，正當性和必要性。
  • 設定專人負責資訊生產或提供者的資料稽核和採集工作。
  • 對於初次採集的資料，需要採用人工與技術相結合的方式進行資料採集，並根據資料的來源，型別或重要程度進行分類。
  • 最小採集資料，僅需要完成必需的採集工作即可，確保不要採集與提供服務無關的個人資訊和重要資料。
  • 對採集的資料進行合理化儲存，依據資料的使用狀態進行及時銷燬處理。

制定資料採集的風險評估流程

• 在對資料進行採集的過程中，需要組織風險評估小組對採集過程進行風險評估，評估內容如下：
  • 採集過程是否合規：是否有采集負責人對相關採集操作進行稽核，採集的資料是否最小化，採集過程是否足夠公開透明並接受了外部監督。
  • 採集過程中的安全要求：是否採用了加密，完整性校驗，匿名，日誌和斷網等保護措施，以保護被採集資料的安全。
  • 資料採集相關的其他工作。

使用技術工具

• 資料採集包括外部資料和內部資料的採集，這裡的外部資料指除了組織內部之外的所有資料提供方，包括第三方，合作伙伴和子公司等，在採集過程中，需要提前約好資料採集相關工作流程和制度，技術工具除了要達到基本的資料採集目標之外，還需要保障資料採集過程中的資料傳輸和儲存安全，並提供全過程審計的能力。
• 目前主要有三種類型的資料：資料庫資料，網路資料和系統日誌資料，可以根據不同的資料型別，資料採集系統也分為三個主要的型別，目前資料防洩漏技術主要有資料加密技術，許可權管控技術和基於內容深度識別的通道防護技術。

基於資料庫的採集技術

• 資料庫系統主要分為兩大類：一類是關係型資料庫，Oracle，SQL Server，MySQL，另一類是非關係型資料庫，如MongoDB和Redis，基於資料庫採集源資料主要分為以下三種方式：
  • 直接資料源同步
  • 生成資料檔案同步
  • 資料庫日誌同步

基於網路資料的採集技術

• 基於網路資料的採集技術是指通過網路爬蟲或網站公開API等方式，從網站上獲取資料資訊的過程。
• 整個資料採集過程的基本步驟如下:
• 1.將需要抓取資料網站的URL資訊寫入URL佇列
• 2.爬蟲從URL佇列中獲取需要抓取資料網站的URL資訊
• 3.獲取某個具體網站的網頁內容
• 4.從網頁內容中抽取出該網站正文頁內容的連結地址
• 5.從資料庫中讀取已經抓取過內容的網頁地址
• 6.過濾URL，對當前URL和已經抓取過的URL進行比較，如果該網頁地址沒有被抓取過，則將該網頁地址寫入資料庫，如果該網頁地址已經被抓取過，則放棄對這個網址的抓取操作
• ７.獲取該地址的網頁內容，並抽取出所需屬性的內容值
• ８.將抽取的網頁內容寫入資料庫

基於系統日誌的採集技術

• 採集工具Chukwa,Flume,Scribe等

資料防洩漏技術

• 目前資料防洩漏技術主要包含加密技術，許可權管控技術，以及基於內容深度識別的通道防護技術等
• 資料加密技術
  • 資料加密技術包含磁碟加密，檔案加密，透明文件加解密等技術路線，目前以透明文件加解密技術最為常見，透明文件的加解密技術通過過濾驅動對受保護的敏感資料內容設定相應的引數，從而有選擇性的保護特定程序產生的特定檔案，寫入時進行加密儲存，讀取檔案時進行自動解密，整個過程不會影響到其他受保護的內容。
  • 加密技術需要從資料洩露的源頭開始對資料進行保護，即使資料離開企業內部的保護，也能防止資料洩露，但加密技術的金鑰管理十分複雜，一旦金鑰丟失或加密後的資料遭到損壞，就會造成原始資料無法恢復的後果，對透明文件加解密來說，如資料不是以文件的形式出現，就會無法對資料進行管控。
• 許可權管控技術
  • 數字許可權管理（DRM）指通過設定特定的安全策略，在敏感資料檔案生成，儲存和傳輸的同時實現自動化保護，以及通過條件訪問控制策略防止對敏感資料進行非法複製，洩露和擴散等操作。數字許可權管理技術通常不會對資料進行加解密操作，而是通過細粒度的操作控制和身份控制策略來實現資料的許可權控制，許可權管控策略與業務結合比較緊密，因此會對使用者現有的業務流程產生影響。
• 基於內容深度識別的通道防護技術
  • 基於內容的資料防洩漏DLP，資料防洩漏以深層內容識別為核心，基於敏感資料內容策略定義，監控資料的外傳通道，對敏感資料的外傳進行審計和控制，資料防洩漏不會改變正常的業務流程，具備豐富的審計功能，可用於對資料洩露事件進行時候定位和追責溯源。

技術工具的使用目標和工作流程

• 資料採集安全管理技術工具應能實現一下目標：
  • 統一設定採集策略，統一下發設定的採集策略，能對採集策略進行調整，採集策略遵循最小夠用原則，確保採集資料的一致性，且保證採集的資料不會被濫用
  • 支援全過程加密通訊，從發起資料採集請求，資料採集授權到採集資料傳輸的通訊過程應採取雙向加密傳輸。
  • 資料採集涉及敏感資訊時候，工具具備資料傳輸錢對資料進行脫敏的能力，當通訊鏈路存在風險時，傳輸前對資料進行脫敏作業能夠最大限度降低資料傳輸過程中的風險，工具需要依照規定的敏感資訊定義，對採集到的敏感資訊進行脫敏處理後再進行傳輸。
  • 具備對採集前後的資料進行完整性校驗，為了防止採集前後的資料被篡改，工具需要對資料進行完整性校驗，可以使用數字簽名，數字證書等手段來識別所採集的資料是否已經遭到篡改。
  • 儲存採集的資料，保證敏感資料都經過了脫敏處理的前提下，工具需要對採集到的資料進行加密作業後再儲存，工具需要對所儲存的資料定期進行備份，保證儲存資料的安全性，防止所儲存的資料遭到竊取和破壞。