1. 程式人生 > >異常行為分析模型設計

異常行為分析模型設計

本文針對異常訪問現狀及問題進行簡要描述,在此基礎上提出基於一元線性迴歸的最小二乘法異常訪問分析模型,通過該模型解決了異常訪問中時間與訪問間相關性問題。

異常訪問是指網路行為偏離正常範圍的訪問情況。異常訪問包含多種場景,如Web訪問、資料庫訪問、作業系統訪問、終端互動等。

異常訪問一直是網路資訊保安中備受困擾的。困擾主要體現在以下幾個方面,通過某一個模型滿足所有場景,模型缺少明確使用條件致使結果不明確,模型計算量大計算耗時長等方面。

基於以上的現狀,本文僅針對系統登入異常訪問進行分析,通過對系統登入事件與時間進行迴歸統計篩選出異常訪問時間段。

下圖為異常登入事件檢測的時序圖:

異常登入時序圖

異常登入時序圖

異常登入事件模型的活動圖流程如下:

1)使用者進行登入,輸入相應的使用者名稱及口令。
2)系統進行登入驗證,判斷是否為合法使用者登入。
3)登入成功或失敗均會將本次登入行為記錄下來。
4)日誌自動傳送至分析系統。
5)分析系統對收到的日誌進行分析,分析採用最小二乘法。
6)如果發現異常登入事件則觸發告警事件。
7)最後工作人員可收到告警提示,並檢視到相應的告警。

當觸發告警後,工作人員需要在量化分析中進行進一步分系工作。通過日誌的登入事件能夠找到何人何時登入哪個系統。詳細記錄下這些資訊後方可以進行後續的時間處置工作。

異常登入模型是分析系統的一個重要分析模型。這個分析模型中採用最小二乘法對登入事件進行異常判斷。異常判斷包括成功登入的異常判斷,以及未成功登入的異常判斷兩類。

以下面的成功登入事件為例進行詳細說明:

登入統計列表

登入統計列表

上面的表格中描述的是以5分鐘為單位時間內,系統登入成功的事件統計。
此時我們無法看出哪個時間單位記憶體在異常登入的情況。
如下圖所示:

登陸次數散點圖

登陸次數散點圖

首先採用“最小二乘法”對其求解。

最小二乘法

最小二乘法

求解出直線與散點圖疊加,如下所示:

登入次數最小二乘法擬合圖

登入次數最小二乘法擬合圖

迴歸模型

迴歸模型

經過逐一計算每個點的殘差如下:

登陸次數殘差結果表

登陸次數殘差結果表

通過上面的表格可以看到,序號為5、9、10的三個點殘差值偏離相對比較大。同時,根據經驗判斷,正常的登入事件殘差值通常在-10~+10之間。而這3個點的殘差值偏離區間明顯。殘差值分別為“15.23967”,”-16.4549”,“15.098”。

針對此登入事件我們採用的置信區間為-10~+10,置信區間可根據不同的場景進行調整。

通過採用最小二乘法的方式進行異常登入事件查詢,能夠很好的解決傳統統計表格中難以發現的問題。傳統的方式都是採用TopN的方式對登入成功、登入失敗的事件進行簡單羅列。但在眾多的登入事件中,哪些是值得工作人員關注的卻難以得到體現。

最小二乘法的引用可以從眾多的登入事件中分離出最為明顯的異常行為,通過系統的初篩能夠給工作人員提供可供量化分析能力。 工作人員通過量化分析模組能夠對相應的事件進行分析工作。同時殘差值的可定義為靈活應對分析需求提供便利條件

相關推薦

異常行為分析模型設計

本文針對異常訪問現狀及問題進行簡要描述,在此基礎上提出基於一元線性迴歸的最小二乘法異常訪問分析模型,通過該模型解決了異常訪問中時間與訪問間相關性問題。 異常訪問是指網路行為偏離正常範圍的訪問情況。異常訪問包含多種場景,如Web訪問、資料庫訪問、作業系統訪問、終端互動等。

【數據分析學習筆記】用戶行為分析模型

密度 登錄用戶 精細化分析 做出 新版 分享圖片 結合 評價 指定 一、行為事件分析 1.什麽是行為事件分析 企業追蹤或記錄的用戶行為或業務過程,如用戶註冊、瀏覽產品詳情頁、成功投資、提現等,通過研究與事件發生關聯的所有因素來挖掘用戶行為事件背後的原因、交互影響等。 2.行

使用者行為分析模型實踐(一)—— 路徑分析模型

一、需求背景 在網際網路資料化運營實踐中,有一類資料分析應用是網際網路行業所獨有的——路徑分析。路徑分析應用是對特定頁面的上下游進行視覺化展示並分析使用者在使用產品時的路徑分佈情況。比如:當用戶使用某APP時,是怎樣從【首頁】進入【詳情頁】的,使用者從【首頁】分別進入【詳情頁】、【播放頁】、【下載頁】的比例是

需求分析模型設計

bcd imp com ann IE lpad ppr 個人 lan 結對成員:   3043沈傑釗 3039陳誌權 原型開發工具:墨刀 需求分析:   對客戶需求進行需求分析 ,采用NABCD模型。   NABCD模型解釋如下:   N,需求(need),解

Spark項目之電商用戶行為分析大數據平臺之(九)表的設計

就是 pre var SQ ID 插入 text mysql tar 一、概述 數據設計,往往包含兩個環節: 第一個:就是我們的上遊數據,就是數據調研環節看到的項目基於的基礎數據,是否要針對其開發一些Hive ETL,對數據進行進一步的處理和轉換,從而讓我們能夠更加方便

數極客釋出第10大使用者行為資料分析模型-間隔分析

數極客釋出第10大使用者行為資料分析模型-間隔分析 一、什麼是間隔分析? 在我們分析使用者轉化行為時,除了利用數極客的6大轉化率分析和提升模型之外,我們還會關注使用者完成轉化所需的時長,數極客間隔分析模型通過任意兩個行為之間的時長間隔分析,可以掌握使用者完成轉化的效率,分析使用者體驗是否存在問題。

Java設計模式之從[滑鼠介面][星際爭霸中的兵種行為]分析介面卡(Adapter)模式

  介面卡將一個類的介面轉換成客戶希望的另外一個介面。下面用三個例子來反映介面卡的不同用途:   情況一:   我買了一個PS2介面的滑鼠,但是我的電腦沒有PS2的介面,僅有USB的介面。為了不浪費這個滑鼠,我跑到商店買了一個PS2到USB的轉接頭,這樣我就用上了PS2的滑

電商系統中的商品模型分析設計

在電商系統中,商品模型至關重要,是整個電商的核心,下面通過一個簡單的分析,設計一個基礎的商品模型。 商品模型的演化     在以前,那時CMS很流行,最常見的模型是欄目-文章模型。於是做電商的時候,自然就繼承了這種一對多的關係。只是欄目變成了分類,文章變成了商品。商

電商系統中的商品模型分析設計—續

 在《電商系統中的商品模型的分析與設計》中,對電商系統商品模型有一個粗淺的描述,後來有博友對貨品和商品的區別以及屬性有一些疑問。我也對此做一些研究,再次簡單的對商品模型做一個介紹。 從SPU、SKU開始     首先我們需要澄清上篇中的這兩個概念,在上篇文章中“貨品”

.NET應用架構設計—面向物件分析設計四色原型模式(彩色建模、領域無關模型)(概念版)

閱讀目錄: 1.背景介紹 2.問自己,UML對你來說有意義嗎?它幫助過你對系統進行分析、建模嗎? 3.一直以來其實我們被一個縫隙隔開了,使我們對OOAD遙不可及 4.四色原型模式填補這個歷史縫隙,讓我們真的看見OOAD的希望 5.在四色原型上運用彩色建模增強視覺衝擊力 6.通過四色原

【使用者行為分析】 用wiki百科中文語料訓練word2vec模型

 前言      最近在調研基於內容的使用者行為分析,在過程中發現了word2vec這個很有幫助的演算法。word2vec,顧名思義是將詞語(word)轉化為向量(vector)的的工具。產自Google,於2013年開源。在向量模型中,我們可以做基於相似度(向量距離/

Chromium多執行緒模型設計和實現分析

       Chromium除了遠近聞名的多程序架構之外,它的多執行緒模型也相當引人注目的。Chromium的多程序架構是為了解決網頁的穩定性問題,而多執行緒模型則是為了解決網頁的卡頓問題。為了達到這個目的,Chromium的多執行緒模型是基於非同步通訊的。也就是說,一個執

Vertica DBD 分析優化設計

and tomat ron per vertica small resource resources start DBD = Database Designer,是Vertica數據庫優化中最主要的原生工具。 首先運行admintools工具,按下面步驟依次執行: 1.選擇

系統分析設計學習筆記(一)

學習 掌握 應該 溝通 基本 最終 表示 對象 毫無 為什麽要學習這門課程?   “擁有一把錘子未必能成為建築師”。 這門課程學習的是面向對象分析和設計的核心技能的重要工具。對於使用面向對象技術和語言來,創建設計良好、健壯且可維護的軟件來說,這門課程所

數據模型設計

歷史 .cn 規範 泛化 失去 是否 空間 采集 應該 數據模型設計 1.整體框架約束下的叠代漸進 談到關系數據模型設計,首先想到的可能會是“概念數據模型設計”及實體關系圖(ER圖),但我認為完整的數據庫數據模型設計需要經過三個階段:(1) 數據總體結構設計;(2) 概

TTPPRC —— 商業分析模型

時間 效應 選擇 pac 分享 決定 windows 而是 布局 歡迎討論 : )   前言1     TTPPRC,是一個為了更容易、透切地進行商業分析而整理出的分析模型。通過這個模型,可以讓不具備專業商業知識的大眾都能容易得出商業分析結果。     此文是讀者閱讀原文後

CoolBlog開發筆記第4課:數據庫模型設計

的人 model類 set 來看 aid 想想 目錄 targe init 教程目錄 1.1 CoolBlog開發筆記第1課:項目分析 1.2 CoolBlog開發筆記第2課:搭建開發環境 1.3 CoolBlog開發筆記第3課:創建Django應用 前言   我新書《

系統分析設計UML建模

撰寫 中一 聚合和組合 常見 log 操作 發生 -- mac UML的歷史 1997年,OMG組織(Object Management Group對象管理組織)發布了統一建模語言(Unified Modeling Language,UML)。UML的目標之一就是為開發團隊

支付系統的基本領域模型設計

計算 電商 統一 模型 公司 目的 其他 系統 對象 支付系統一般有三類主要領域對象:賬戶、收支、相關財務動作(比如購買)。 1、賬戶的設計要充分考慮到事務行鎖的問題,賬戶數據不要和其他頻繁操作的數據的放在一起,互聯網的虛擬幣支付,其中可能會有贈送幣和現金購買幣

單例模式及常見寫法分析設計模式01)

啟動 nes 成員變量 額外 log 序列 spa tar adl 保證一個類僅有一個實例。並提供一個該實例的全局訪問點。 ——《設計模式》單例模式的概念非常easy。以下以C#語言為樣例,列出常見單例寫法的優缺點。1、簡單實現 public s