威脅情報之落地實戰-由灰產向黑產篇
近幾年,安全圈除了AI之外,比較火的概念大概是:Threat Intelligence(威脅情報)和Threat Hunting (威脅狩獵)了。除了PR和安全廠商自我驅動的需求外,威脅情報體現了安全廠商多年積累的資料價值,而威脅狩獵則體現安全廠商正嘗試向其客戶輸出安全資料應用的方法論。
圖1 資料為王
對於企業安全團隊而言,永恆的價值需求有四個方面,第一是攻陷主機分析,從告警裡面發現和得出哪些機器哪些目標是被攻陷的,是需要被處置的;第二是態勢感知,能夠有較為完善的平臺整理和總結安全資料,為安全運營提供視覺化管理能力和感知能力;第三是安全運營,建立安全威脅運營機制,形成監控、預警、處置、調查、加固一系列安全運營流程,實現威脅監測、應急等各項工作標準化、自動化和人力成本最小化;第四,是溯源和報告,對告警事件深入分析,體現安全團隊這個成本部門的核心價值。
安全對抗中的防守工作一直都是由安全廠商和企業安全團隊來共同完成的。以前安全廠商通過盒子裝置向企業安全團隊輸出其檢測能力,現在則是通過資料產品和平臺產品向企業安全團隊輸出其資料能力和分析能力,增強客戶本地安全運營的時效性和機動性。
威脅情報和威脅狩獵,一個是資料,一個是手段。威脅情報,賦予了安全團隊外部威脅視野,用更多外部的威脅上下文提升安全事件研判能力;威脅狩獵,提供的是下鑽的方向和能力,讓安全團隊能夠在眾多威脅線索的情況下,更好地利用內部/外部威脅上下文,更快地檢測和發現威脅的源頭。
資料為王,是這個時代安全檢測應用的指導思想,也是威脅情報在企業側落地的指導思想。內部大資料(主機行為、網路行為和應用行為等)和外部大資料(威脅情報和IP畫像等),聯動分析,發現蛛絲馬跡後還原長時間行為場景;在發現威脅痕跡後主動出擊,多行為維度取證,事件定性。可用性強的資料,往往儲存和檢索難度較高,因而,海量行為metadata資料輔助威脅分析,威脅狩獵與鮮活的行為詳情輔助威脅定性,是一條較為可行的落地路線。
上一篇《威脅情報之劍指落地》介紹了威脅情報的基本種類和應用面臨的難題,本篇嘗試從實戰和經驗角度出發探討下實際應用的最佳實踐。本篇涉及的落地工作僅針對威脅情報的檢測和溯源應用。
首先明確使用威脅情報檢測並不是什麼創新的方法。由於篇幅所限,本篇涉及的威脅情報的檢測,僅討論使用惡意IP情報進行檢測的狀況,這也是最為常用的情報匹配場景。在企業內網中的攻擊檢測和異常監測的方法有很多,例如傳統的安全裝置、日誌分析和行為分析等。基於威脅情報檢測只是其中的一種檢測方式而已。
其次,本篇之所以討論威脅情報的檢測應用,是因為現在大量企業都有自己的情報收集方法,或開源、或商業購買,威脅情報對企業側的安全改進已有了事實基礎。同時,之前幾年情報廠家往往強調的是威脅情報在溯源方面的應用,大家關注的還只是不同維度資料的有無,很少關注精準度。資料有無只是情報的“看見”能力,情報資料的精準和情報本地運營流程才是安全管理員期待的“洞見”能力。
威脅情報這一安全資料來源擺在企業安全團隊面前的應用難題主要有三個:
多:威脅情報資料來源多、數量多,數量的龐大加上情報本身的置信度問題,會帶來大量的檢出誤報,安全人員疲於應對。
雜:威脅情報種類雜,應用場景複雜,不同的情報可能位於攻擊鏈的不同階段,不同的場景側重的是不同的攻擊者,例如雲平臺的情報應用關注外部攻擊者,企業側的情報應用主要關注的是內網有無受感染的主機或者對外的惡意行為。不同場景中應用威脅情報的種類也是有差異的。
快:威脅情報更新快,在前面兩個問題“多”和“雜”的映襯下,更新速度可能成為壓倒安全管理人員的最後一根稻草。如果沒有合適的情報自動化運營流程,這一系列的情報檢測,行為下鑽,事件確認和威脅溯源將會是人力投入產出比極低的工作。
因此可看出,威脅情報的應用絕不是簡單的黑白名單匹配,缺乏妥善的運營機制,海量的情報“線索”給安全團隊帶來的將是災難性的工作量。
理想情報的運營流程應該包含幾大部分:
1) 情報應用:將情報和網路實體行為相關聯。
(2) 智慧排序:這部分是情報應用的最為關鍵的部分,也是下文會著重討論的。安全運營人員的精力是有限的。據經驗,一名安全管理員每天能夠有效處理的事件數目只有20條左右。那麼哪些情報事件應該優先處理,哪些有餘力再處理,將是影響使用者體驗的決定性要素。
(3) 行為下鑽:情報說到底只是外部安全知識的總結,情報資料頂多能夠給到安全管理員情報型別、情報分級和可能的上下文資訊。一個情報事件是否是一次成功的攻擊,以及對內網系統的安全影響程度都需要安全管理員能夠從實體行為中獲得更多的證據去調查和應證。
(4) 事件確認:安全管理員發現高置信度的事件後需要進行使用者告知,事件確認和事件處置。
(5) 威脅溯源:針對重要的安全事件需要通過外部情報系統和本地行為痕跡,形成安全報告,進行總結和歸納。
圖2 情報運營中的黑白灰與本地行為上下文
三、由灰向黑:情報落地之可運營1情報使用有的放矢
在情報的使用上,可以從種類+場景和時間跨度兩個方面進行精細化使用:
(1) 種類+場景:從下面的表格中粗略地列出了9種情報型別,其中前四種和後五種的使用場景是完全不同的。例如DDoS情報和Botnets情報,從情報生產方式來講,它們都是一些受陷的公網IP,對外產生攻擊,那麼準確的情報匹配方向應該是公網/外網IP之間的通訊。如果將這種型別的情報用到企業側的外聯資料流中,雖然也能產生威脅線索,但在種類和場景上存在差異,帶來的告警反而很容易給安全管理人員帶來干擾,得不償失。對於Spam Source、Malware 、Phishing 、Proxy 和C&C這幾種情報,情報生產環境和企業側外聯環境相符,其匹配情況更應該為安全管理人員所關注。
情報型別 | 情報含義 | 使用場景 |
DDoS | DDoS攻擊的源IP | 外到外 |
Web Attacks | 針對網站的攻擊IP | 外到外 |
Scanners | 掃描器 | 外到外 |
Botnets | 僵屍網路肉雞 | 外到外 |
Spam Source | 垃圾郵件源 | 內到外,外到外 |
Malware | 惡意軟體 | 內到外,外到外 |
Phishing | 釣魚軟體 | 內到外,外到外 |
Proxy | 代理 | 內到外,外到外 |
C&C | 命令控制伺服器IP | 內到外,外到外 |
表1 部分情報種類和應用場景
(2) 時間跨度:從上一篇《威脅情報之劍指落地》的統計資料中可以看出,75%的惡意IP情報持續時間在5天內。從情報生產角度來說,若一個情報IP的更新時間距今過長,證明沒有更新的攻擊和該IP相關。從攻擊者角度講,攻防是一個博弈的過程,釣魚網站和IP存活的時間較短,攻擊者也會根據情報平臺的捕獲狀況調整自己的IP資產。通常意義上,更新時間在兩月之前的情報都可以從匹配列表中去除,或者在使用中根據時間跨度衰減其危險度。
2行為向量輔助瞄準
企業側的情報落地,尤其是惡意IP情報,往往是以情報閘道器的方式進行使用,映象企業的全量出口流量進行檢測。如果僅使用IP層匹配進行檢測,缺乏上下文資訊,則很難擁有足夠的資訊量供安全管理員篩選排查。企業的規模越龐大,問題越嚴重,上下文資訊將直接影響系統的可用性。例如,企業內部的攻防團隊對惡意IP的連線,企業內部對外的掃描行為和無效連線(TCP連線未成功建立)等情況,都會對情報檢測系統的可用性和安全管理人員的工作量產生影響。
因此,在情報檢測落地的時候,需要加入足夠的上下文資訊,讓管理者能夠多維度篩選和研判。可能的行為上下文資訊包括:
(1) 人員職責和資產業務。大型企業的網路應用往往比較複雜,一方面攻防團隊和安全運營團隊很可能有和惡意IP通訊的需求,例如一些埠掃描和ping之類的行為,人員職責和資產業務的明晰有助於讓管理員關注到最惡意的告警,而非安全業務/測試等帶來的告警,減少管理員需處置告警量。另一方面,明確IP資產的業務和使用人員對告警事件的排序,安全狀況的全域性分類感知和問責到人的流程都是非常有作用的。例如,資料庫伺服器、SVN服務的相關情報事件或管理層人員主機的相關情報事件是更值得關注。
(2) 行為向量:在職責和業務明晰的情況下,威脅情報的企業側匹配需要和使用者行為與流量特徵相結合,需要考慮的要素包括協議,埠,連線狀態,payload長度和payload內容等。例如C&C情報的使用,在過濾掃描、無效連線、安全研究員、安全業務機器後,情報事件數量將大幅減少,位於安全管理員可處理範圍內的事件才是有效處置的事件。
(3) 行為統計向量:在行為統計方面,類似連線人數,連線時長,資料傳輸量和週期性等因素都可以進行考慮。通過行為統計,能夠從覆蓋度、罕見度和突發度等多個方面去衡量哪些才是更重要的情報事件。例如,當一個惡意IP被多個內部人員訪問的時候,在行為向量的特徵外,如果我們做了長時間的統計指標計算,則能夠得到更多可靠的上下文資訊:這些訪問是否是今天才出現的或有激增的訪問趨勢?是否每天都超過5人進行訪問?是否只在上班時間有訪問,還是全天都有訪問?訪問是否有周期性?訪問的前後是否有其他網頁瀏覽、客戶端外訪行為的發生?是否是有效連線?是互動式的訪問還是上傳/下載訪問?
舉個挖礦病毒的案例,
88.99.138.74被威脅情報平臺標記為惡意軟體,在某情報閘道器檢測發現,一個PC客戶端對該IP發起訪問行為,在三個小時內的訪問次數為395次。
排序優先順序判定的可能流程如下:
(1) 威脅情報平臺的威脅評分較高,位於黑名單中,說明是近期活躍惡意IP,事件威脅評分往上走
圖3 NTI情報檢索結果
(2) 直接訪問IP進入礦池頁面如下,說明,目標可達可用,事件威脅評分繼續往上走。
圖4 礦池頁面
(3) 發現受感染客戶端每分鐘都和目標主機通訊,時間間隔較為固定,TCP通訊標誌位有PUSH標誌位佔比較大,通訊來回的位元組數範圍較為穩定,疑似程式主動行為,事件威脅評分繼續往上走。
圖5 通訊量時間序列
圖6 TCP標誌位佔比
最後,一起疑似的情報事件被判定為需要處置的惡意軟體事件。
3威脅評分解放雙手
威脅情報產生的初衷是用大資料和快速共享的方式改進響應速度,而威脅情報的落地運營則是希望通過明晰場景、提取行為、構建指標和釐清職責,讓不同的資料和人員在運營過程中環環相扣,形成有效的流程規範或運營體系。
上面的“情報使用有的放矢”,明確了場景和情報應用的對映關係,“行為向量輔助瞄準”嘗試分析應該提取哪些資產/人員資訊、行為指標和統計指標以供人肉下鑽分析。這兩個步驟為情報運營打下了堅實的場景基礎和資料基礎,而所謂的“威脅評分”機制,則是將所有行為資料、資產屬性和情報資料都向量化和指標化,最終形成威脅度Top N的有序事件列表展示於安全管理人員前。
實現的方法有兩種:
(1)基於指標體系的評估方法。該類方法能夠將複雜的安全評估問題分解,提取能夠反映被評估物件不同方面所面臨的風險的定量/定性因素,按照屬性的異同分為不同的指標組,構建遞階的層次化評估指標體系,逐層向上計算整體安全風險。通俗說來,就是給出一堆公式,計算得出事件的威脅分值。
指標體系的方法最主要的是構建出分層的指標矩陣體系,至於計算方法,無非就是各種加權和條件運算,並無一定之規,效果好壞因場景而已。只要能保證評分結果有序,就已經成功了一半。
最終評分 | 威脅評分 | ||
評分模組 | 外部情報評分 | 行為指標評分 | 資產評分 |
原子評分 | 情報惡意度 | 時間跨度 | 資產重要性 |
情報型別 | 週期性 | 人員安全技能強弱 | |
情報更新時間 | 通訊成功率 | …… | |
…… | 資料傳輸穩定性 | …… | |
…… | 罕見性 | …… |
表2 評分體系示例
(2)基於排序學習的評估方法。通俗說來,就是構建一堆函式,根據安全管理員標註,訓練得到一堆權值,加入到最後的公式中,計算得出事件的威脅分值。對應於搜尋引擎中的排序場景,安全場景相當於搜尋的關鍵詞,告警事件相當於搜尋得到的文件列表,管理員點選和處置的事件相當於使用者對搜尋結果的點選,並可以得出使用者的偏好。
四、情報落地之可狩獵本篇文章介紹了威脅情報在企業側應用的資料、方法和經驗,主要闡述了行為分析和情報分析的綜合效能,“由灰向黑”,希望儘可能提升人力ROI和檢測處置效果。下一篇將是“由白向黑”,系統闡述出企業側威脅情報應用中的白名單體系建設。
https://mp.weixin.qq.com/s?__biz=MzIyODYzNTU2OA==&mid=2247484248&idx=1&sn=58225a0a8b07c44cdbd3f93c153583ba&chksm=e84fa587df382c91b356530533bab8cabf8c8282509d3f87adbb14f49826bc842ce06e018bdc&scene=21#wechat_redirect