【功能釋出】日誌服務(SLS)11-12月功能合集
新功能
1. 智慧日誌聚類(LogReduce)
摘要
新增智慧文字模式聚類功能(LogReduce),能夠在搜尋分析過程中幫助發現日誌的規律與特徵,提升重要資訊發現能力。
適用客戶
開發者、運維、安全分析師
詳細說明
使用者在Logstore中開啟文字模式聚類後,可以在查詢中使用log_reduce()函式對海量日誌進行模式(pattern)自動聚類,相似格式的日誌會自動分為同一類,該方案有如下特點:
- 智慧:無縫適配各種日誌格式,例如Log4J,分隔符,Json等日誌
- 海量資料實時處理:支援對億級的資料秒級分析出結果
- 互動性:對聚類後日志提供簽名(Signature)進行反查
- 靈活:支援前期任意條件篩選結果聚類,支援對不同時間聚類結果進行比較,支援手動調節聚類精度
通過該功能可以快速對海量日誌進行智慧分析,快速有效定位問題。
文件
2. 告警功能升級
摘要
日誌服務告警功能全面升級,新增電話、自定義郵件、簡訊、釘釘配置等功能,提供更豐富、靈活、可配置、所見即所得的告警設定。
適用客戶
開發者、運維人員
詳細說明
日誌服務告警功能全面升級,支援如下新特性:
- 控制檯互動:基於儀表盤建立告警(所見即所得),全新的告警管理列表頁支援告警狀態、歷史記錄檢視、快捷操作按鈕
- 告警大盤:在您配置告警任務的project下預設新增一個內建LogStore(免費)和儀表盤用於儲存告警歷史與數字統計,讓告警管理更簡單
- 告警計算:支援多個圖表(SQL查詢)結果的組合計算判斷觸發,新增如四則運算、括號優先順序等運算子
- 告警條件:新增臨時關閉告警、禁用告警通知、自定義通知間隔支援
- 通知方式:新增郵件通知選項,並且可以支援多選(例如同時進行釘釘、郵件通知)
- 通知內容:強大的模板變數支援,您可以從告警查詢結果中提取欄位內容進行告警內容的編排,讓告警內容更精準
- 告警搠因:可以從告警資訊上快速深鑽到與告警結果相關聯的圖表指標、告警歷史記錄
- 查詢週期:告警結果所依賴的SQL查詢週期支援1天以上的區間(從計算效能考慮,大流量LogStore請謹慎設定超大時間區間)
- 新模式:支援使用者通過通知中心訂閱日誌服務告警語音通知或者通過手機號碼傳送語音告警;
- 靈活配置:支援在告警通知Webhook中自定義header;釘釘通知支援@部分或者全體群成員,支援自定義標題;支援自定義郵件主題
3. Windows Logtail釋出
摘要
Windows Logtail 全新發布,支援完整Logtail功能
適用客戶
開發者、運維人員
詳細說明
Windows Logtail全新升級,支援完整Linux Logtail支援功能:
- 補齊自定義外掛、匯入歷史日誌檔案等 Linux 版本獨佔功能,現已實現和 Linux 版本的對齊。升級及安裝說明可見文件。
- 日誌採集外掛能夠對任意 Windows 事件日誌進行採集,既包括應用程式、安全、系統等常見通道,也支援事件檢視器中的其他自定義通道。
文件
- https://help.aliyun.com/document_detail/49006.html
- https://help.aliyun.com/document_detail/101177.html
4 手機號歸屬地查詢函式
摘要
日誌服務查詢分析功能新增手機號轉省份、城市、運營商函式
適用客戶
開發者、運維人員
詳細說明
日誌服務查詢分析功能新增手機號轉歸屬地的功能,可以呼叫mobile_province, mobile_city和mobile_carrier等函式查詢手機號的歸屬地資訊,有效的幫助客戶分析資料的地理位置。
文件
https://help.aliyun.com/document_detail/98580.html
功能+體驗優化
1. Logtail-Binlog 優化
摘要
Logtail MySQL binlog 外掛支援以 GTID 作為 checkpoint 來維護同步進度,解決主備 binlog 序號不一致時的資料重複採集問題。
適用客戶
開發者、運維人員
詳細說明
除了原先的基於 binlog 序號(檔案及偏移)的 checkpoint 機制,MySQL binlog 新增基於 GTID 的 checkpoint,主要功能:
- 根據 MySQL 伺服器的版本和啟用狀態,自動判斷是否使用基於 GTID 的 checkpoint 型別,如果可用,將優先使用,如果不可用,仍舊使用基於 binlog 序號的 checkpoint。
- 基於 GTID 的 checkpoint 機制能夠有效解決主備 binlog 序號不一致時引起的資料重複採集問題。
文件
https://help.aliyun.com/document_detail/64953.html
2. Logtail-Kubernetes 優化
摘要
Logtail Kubernetes日誌採集優化,支援更多元資料採集。
適用客戶
開發者、運維人員
詳細說明
Logtail Kubernetes日誌採集增加上傳Node節點Meta資訊(NodeIP以及NodeName);CRD配置支援自動建立包含Kubernetes相關Meta的索引;Sidecar模式日誌採集增加上傳Pod以及Node節點Meta資訊。
文件
https://help.aliyun.com/document_detail/66654.html
3. 機器學習函式優化
詳細說明
- 在ts_predicate_simple/ar/arma/arima函式中,新增isSmooth引數,用來控制是否對原始時序資料進行濾波操作
- 釋出ts_regression_predict函式,提供了'origin','forest','linear'三種時序預測演算法
- 提供ts_find_peaks區域性極值檢測函式
- 在ts_smooth_simple函式中,將三重指數平滑的演算法引數爆率出來,同時提供wavelet演算法模式,可以較好的儲存原始序列中的低頻訊號
- 在底層引入小波演算法,優化了針對的週期序列中的週期檢測效果
4. 控制檯嵌入功能增強
摘要
控制檯支援訪問時行動態鑑權
適用客戶
開發者、運維人員
詳細說明
控制檯支援每次方式時動態鑑權,變化如下:
- 已有的控制檯嵌入功能,生成的免登連結對應的訪問許可權直接繼承於對應的角色許可權,如果嵌入後需要對不同使用者設定不同訪問許可權,需要建立大量的角色以指定不同的許可權,對於管理以及角色對映上帶來了很大困難。
- 新版嵌入功能,支援生成免登連結時動態指定本次訪問對應的許可權,該許可權必須為角色許可權的子集,通過此方式,可以在為不同使用者生成免登連結時動態設定具體的許可權,最終只需要管理一個角色即可,大大方便企業使用者將日誌服務控制檯與內部賬戶系統進行許可權管理。
文件
https://help.aliyun.com/document_detail/74971.html
5. 控制檯體驗優化
新增功能
- 分隔符模式下新增接受部分欄位開關,以判斷日誌分隔後實際欄位數少於預設Key數量時,是否上傳日誌
- 接入嚮導內增加態勢感知和DRDS入口
- table圖表優化,自定義列縮排,單個欄位內容過長可進行展開,收起的操作
- 索引配置框效能優化,新增分頁器
- 查詢頁面左側資源樹狀重構,優化效能
- markdown支援繫結查詢變數
- 快速查詢頁面顯示當前logstore
修復Bug
- 修復html內容在表格圖表會被解析的問題
- 修復輸入包含不同機器學習函式的query,無法識別函式型別的問題
- 修復dashboard圖表載入順序可能引發頁面重新重新整理的問題
- 修復dashboard選擇整體時間,點選重置時間失效的問題
- 修復矩形樹圖存在name欄位的關鍵字,導致資料顯示不全的問題
- 修復時間選擇器選擇今日整點,顯示今日相對的問題
支援雲產品
1. WAF日誌實時分析
摘要
阿里雲WAF日誌分析(LogAnalysis)提供阿里雲WAF訪問與攻擊日誌的實時收集、查詢與實時分析、儲存和分發等一站式服務。
適用客戶
安全運維人員、安全運營運營人員、安全系統開發者、CIO等
詳細說明
實時全要素日誌採集: 幫助使用者及時全面網站被訪問與攻擊狀況。
智慧查詢分析,內嵌詳細的查詢語法: 支援實時檢索和查詢分析資料,可查詢多種複雜場景下的日誌,幫助使用者更好發現各類隱蔽安全風險,避免對業務造成嚴重損失。
- 快速分析: 提供快速分析功能,為使用者提供一鍵互動式查詢體驗,幫助您快速分析某一欄位在一段時間內的分佈情況和佔比,減少索引關鍵資料的時間成本。
- 豐富的報表儀表盤介面: 日誌報表頁面可集中展示運維, 訪問與安全3類儀表盤的相關資料,支援接入多種視覺化平臺。
- 自定義報表: 支援使用者基於自己的業務特點自定義報表和儀表盤。
- 匯出日誌: 支援匯出日誌到本地或其他資料倉庫,幫助使用者開展安全審計工作或者備案提供依據。
2. 新BGP高防 - 實時日誌分析釋出
摘要
阿里雲新BGP高防日誌分析提供阿里雲新BGP高防7層訪問與攻擊日誌的實時收集、查詢與實時分析、儲存和分發等一站式服務。
適用客戶
- 對雲上資產的安全日誌有儲存合規需求的大型企業與機構,如金融公司、政府類機構等。
- 擁有自己的安全運營中心(SOC),需要收集安全告警等日誌進行中央運營管理的企業,如大型地產、電商、金融公司、政府類機構等。
- 擁有較強技術能力,需要基於雲上資產的日誌進行深度分析、對告警進行自動化處理的企業,如IT、遊戲、金融公司等。
詳細說明
該功能提供:
- 輕鬆配置,即可實時高防日誌採集。購買後的新配置的網站自開啟日誌功能.
- 依託日誌服務,提供實時日誌分析,並提供開箱機用的報表中心(支援定製),對被保護服務的執行狀況、效能、潛在安全問題了如指掌,並可實時挖掘細節。
- 免費提供30天儲存及3TB的額度.
- 支援基於特定指標,支援定製準實時監測與報警,確保關鍵業務異常及時響應。
- 可對接其他生態如流計算、雲端儲存、視覺化方案,進一步挖掘資料價值。
文件
https://help.aliyun.com/document_detail/99108.html
3. 反爬風險管理 - 實時日誌分析釋出
摘要
阿里雲反爬風險管理日誌分析提供阿里雲反爬訪問與攻擊日誌的實時收集、查詢與實時分析、儲存和分發等一站式服務。
適用客戶
- 擁有大量優質與智慧財產權的視訊、圖片、文字載體的內容、教育、媒體、諮詢類網站。
- 面向大量優質客戶,並頻繁更新Web上金融、電商、服務資訊的網際網路企業,如航空、政府、電商、金融網站。
- 擁有自己的安全運營中心(SOC),需要收集安全告警等日誌進行中央運營管理的企業,如大型地產、電商、金融公司、政府類機構等。
- 擁有較強技術能力,需要基於雲上資產的日誌進行深度分析、對告警進行自動化處理的企業,如IT、遊戲、金融公司等。
詳細說明
該功能特點如下:
- 配置簡單:輕鬆配置即可實現反爬訪問與攻擊日誌的實時採集。
- 實時分析:依託日誌服務產品,提供實時日誌分析能力、開箱即用的報表中心與自帶互動挖掘支援,從0到1, 讓您對網站業務的各種爬蟲攻擊狀況以及客戶訪問細節瞭如指掌。
- 實時告警:支援基於特定指標定製準實時的監測與告警,確保在關鍵業務發生異常時能第一時間響應。
- 生態體系:支援對接其他生態如實時計算、雲端儲存、視覺化等方案,進一步挖掘資料價值。
- 費用:免費提供14天實時訪問與攻擊日誌的儲存。