網際網路時代，大資料扮演著極為重要的角色；騰訊作為中國最大社交平臺，具備最具權威、代表性的網際網路大資料。資料平臺部TDW作為公司級的海量資料儲存和計算平臺，集中了公司90%以上產品（近400款）的核心資料，覆蓋全部BG，積累約4000個開發者，如何保障如此之多的使用者安全合理地使用這麼豐富珍貴的資料？本文將從資料生命週期（傳輸—>儲存—>使用）角度揭密數平的資料安全體系如何為騰訊大資料保駕護航。

1 傳輸安全

所有資料通過tdbank自動採集接入，只要告訴TDBank資料在哪裡，資料是什麼，資料要怎麼用，TDBank就會自動完成一整套的資料採集分揀和處理流程，無需人工干預， 縮短流程，降低風險。

針對敏感資料，在通道中設定加密，金鑰由資料owner掌握，同時TDW支援執行加密資料的sql，資料在TDW中可用但不可見，猶如資料咖啡館，既讓資料流動碰撞發揮價值，又保護了資料安全。

2 系統安全

2.1 洋蔥入侵檢測

TDW所有機器在機器初始化後預設安裝洋蔥客戶端，上報所有使用者行為資料至洋蔥服務端，並對行為分析、分類，針對對檢測入侵行為鏈和對敏感操作進行有效監控、分析、告警。

2.2 鐵將軍管理

通過接入鐵將軍系統，建立帳號管理、許可權管理及運維審計體系：

• 集中管理賬戶：實名制使用者通過PIN+TOLKEN動態口令進行登入

• 帳號許可權管理：Sudo許可權管理

• 實名審計：實名審計操作行為及可回溯

3 儲存安全

資料量大（volume）且型別繁多（Variety）是大資料的兩大特徵，這為資料應用帶來了福音。同時，對於大資料儲存來說，這是一項大的考驗，如此大而全的資料我們如何保證資料的完整儲存，不丟失，不刪除？

3.1 多副本儲存，防止資料丟失

• 熱資料：3個副本存放在不同機架，任意2臺機器故障不會丟資料

• 冷資料：採用Raid壓縮（10資料塊+4校驗塊，可容忍任意4塊丟失）

• 自動修復：系統後臺自動掃描，及時修復丟失或損壞的副本，業務無感知

3.2 多層保護，防止資料刪除

3.2.1 防 DB刪除

對於database層的目錄，在原始碼中進行保護，設定目錄刪除黑名單，要刪除database或者目錄，需要更改原始碼，並且重啟服務

• 防止drop database操作：在TDW中drop database會失敗

• 防止在檔案系統中刪除目錄：在檔案系統中，直接刪除目錄會失敗

3.2.2 防table刪除

• 設定回收站，延遲刪除

• • 資料並不會被立刻刪除，而是移入回收站

  • 資料會在回收站儲存大於48小時，大資料需手工確認之後被真正刪除

• 節點延遲刪除

• • 先將元資料刪除，資料block塊延遲一天刪除

  • 通過元資料冷備，可以恢復資料

4 使用安全

TDW中資料的產品線眾多，使用者也來源於各個不同的產品，自然而然，資料共享的需求日益增多，那麼如何做到資料共享的同時保障資料安全可控呢？下面將從資料使用這個動作的三個要素（who, what,where）來說明如何保障資料的使用安全。

4.1 who --誰可以使用

平臺秉承開放的心態，擁抱公司內部所有使用者。但鑑於安全考慮，平臺各子系統均對使用者身份進行雙重驗證，通過認證的使用者方可使用平臺。此外，經過各系統嚴謹的鑑權校驗後，方能真正觸達目標資料。

同時，賬戶實行個人實名精細化管理，保證系統內所有操作記錄均可追蹤到個人。

4.2 what—可以使用什麼資料

不同的使用者對資料需求不同，使用者按需申請使用許可權。其中，不同級別資料許可權流程不同，不同類別資料的許可權型別不同。

• 資料分級管理：資料根據不同的敏感度分級管理，不同級別的資料許可權需走不同的申請通道，部分敏感資料許可權需由部門最高領導人進行審批。

• 資料分類管理：對於入庫層資料，只開放只讀許可權，防止源資料被汙染，保持資料來源的完整性。

4.3 where—在哪裡使用

非tdw系統的ip不能直接訪問。

• IP白名單控制：只有指定安全IP方可訪問資料庫，白名單ip都是我們自己的。

• 平臺內流轉：資料控制在TDW平臺內流轉，不流出；

• 匯出申請：如有特殊匯出需求，需申請，由上級確認；

4.4 how — 審計使用者如何使用

平臺提供使用者全流程操作記錄審計功能，使用者擁有哪些許可權，使用哪些表，什麼時間，在哪個系統進行了什麼操作均有跡可循。

• 許可權開放審計：許可權系統提供許可權開放審計功能，供資料owner審計名下資料許可權開放情況，許可權管理透明化；針對高敏感表，許可權開放實時監控。

• 使用情況審計： 構建統一操作流水查詢系統，各系統的操作流水永久儲存；其中針對敏感資料，每日定期統計使用情況，供管理員每日審計。

• 內部人員審計： 在機器上所有操作都會上報到到審計系統; 對敏感操作實時審計，郵件上級及本人確認。