打造0程式碼可定製的日誌分析平臺——秒雲日誌
目 錄
第1章 搜尋--煥然一新................................................................................................................... 4
第2章 日誌代理—橫空出世........................................................................................................... 8
第3章 告警功能--羽翼豐滿............................................................................................................ 9
第4章 效能--持續提升................................................................................................................. 10
第5章 秒雲風格初形成................................................................................................................ 11
第6章 細節改變，更佳體驗......................................................................................................... 13
積土成山，風雨興焉；積水成淵，蛟龍生焉。早在2000多年以前，荀子就告訴我們，
第一章：搜尋--煥然一新
搜尋是日誌產品最基礎也是最核心的功能，v20.12.1版本在搜尋上下足功夫，後端自研搜尋加速引擎，前端頁面重新改版佈局。
先來看搜尋加速引擎3大核心功能：
- 非同步搜尋：前端一次搜尋，後端將搜尋拆分為多個小搜尋任務，並行+非同步執行，充分利用ES叢集優勢和CPU資源，提升搜尋速度，減少使用者等待時間。
- 分步返回：後端多個並行的非同步搜尋任務執行時間不相同，一旦某單個任務完成即返回結果給前端。分步返回機制也同樣減少了使用者等待時間。
- 保活機制：前後端建立保活機制，一是能夠保證複雜耗時的搜尋不因為http請求等待時間過長而超時，二是前端主動結束搜尋時，後端能及時銷燬掉非同步的搜尋任務，避免不必要的資源浪費。
基於以上特性，搜尋加速引擎提升了搜尋效率，10億級資料秒級返回，同時保證無論多長時間範圍、多複雜的搜尋都能返回結果。
再看前端：
- 原來搜尋前需選擇某一資料來源或者資料模型，增加了搜尋的難度。現在，使用者無需選擇，可在全量資料中直接搜尋。
- 全新的搜尋介面：支援列表、表格、原始三種顯示模式；縮小按鈕，減少留白，給搜尋結果更多空間，突出重點；滾動顯示改為分頁顯示，以及字型、顏色控制元件佈局等細節調整。新頁面簡潔美觀，給使用者更好的搜尋體驗。
- SPL搜尋支援聯想提示，不僅能提示系統中存在的關鍵字還能提示歷史搜尋資訊，大大降低了使用者搜尋輸入難度。
- 更靈活的時間選擇器，支援快捷選項、實時時間視窗、最近時間、自定義時間範圍，快速靈活定位搜尋時間。
- 搜尋結果高亮，一眼找到想要的結果。
第二章： 日誌代理—橫空出世
之前，秒雲日誌採集檔案日誌需要部署開源的軟體，不僅要登陸到每臺伺服器，而且需要配置yaml檔案。安裝部署，修改配置都非常困難。V20.12.1版本自研日誌代理，實現了日誌代理一鍵安裝、統一管理，極大了降低了使用者採集日誌的難度。
- 在服務端管理日誌代理，包括監控、配置、啟停、升級：
- 支援配置批量修改和下發：
- 採集伺服器目錄下日誌檔案，同時採集伺服器CPU、記憶體、磁碟等指標資料。另外日誌代理還同時支援linux、windows作業系統，支援ix86、arm64、amd64 CPU架構，幾乎能在所有伺服器上執行。
第三章：告警功能--羽翼豐滿
新增告警後擴充套件查詢，意味告警之後系統能自動展示關聯搜尋結果，方便使用者回溯告警根本原因。例如，由於CPU利用率超95%產生告警，在告警結果中自動關聯搜尋程序資訊、介面流量日誌、使用者操作日誌等，如果是因為流量猛增導致，從流量日誌中則可直觀檢視到。
可自定義告警格式，定製個性化的郵件、釘釘、微信告警資訊，精準展示使用者關心的資訊。
新增告警轉發和rsyslog轉發，將告警資料共享給第三方平臺。使用者可根據需要，同時選擇郵件、微信、釘釘、http、rsyslog轉發告警。
第四章：效能--持續提升
自研資料寫入引擎，採用GO語言實現，代替logstash，從kafka搬運資料到Elasticsearch。寫入引擎減少資源消耗的同時提升效能。相同環境，相比上一版本，效能從85KEPS到110KESP，效能提升29%以上。
第五章：秒雲風格初形成
秒雲品牌之下包含兩款產品：秒雲容器雲平臺和秒雲日誌分析系統。兩款產品介面逐步統一，形成秒雲風格。秒雲日誌v20.12.1版本介面做了如下修改：
- 登陸介面統一
- 平臺選單欄和應用選單欄分開，介面更有層次感。
- 選單欄底色、選單字型/大小、按鈕大小/風格調整。
- 儀表盤底色統一、減少留白、標題字型/大小調整、每個版塊圖示隱藏、版塊邊角銳化、支援全屏模式等細節，讓每張圖形更飽滿更簡潔，儀表盤更美觀。
第六章：細節改變，更佳體驗
V20.12.1版本還新增了很多小功能，優化了很多小細節。包括：
- 資料解析支援字典轉換，允許使用者將日誌欄位對映為簡單易懂的業務資訊，例如將伺服器IP地址轉換為機房+機櫃號，能直觀得知伺服器位置。
- 資料解析支援數學運算，例如將byte為單位的流量統計轉換為Gbyte單位。
- 配置告警規則和資料透視時，支援SPL語句，能實現更復雜的查詢邏輯。
- 應用管理支援上傳下載說明文件，自帶說明的APP方便使用者理解和使用。
- 資料透視支援同時分析多種資料模型，實現了關聯分析。
- 優化了不同解析度下的介面顯示問題。
結尾
無論是新增功能，還是區域性的優化，無論是大的改動，還是細節的調整，秒雲日誌v20.12.1版本的更新始終堅持簡單易用的設計理念。憶往昔，看當下，望未來，秒雲日誌將秉持鍥而不捨之精神，圍繞“0程式碼定製化企業專屬日誌分析平臺”的目標，持續打磨產品，不斷改進使用者體驗，幫助使用者成功。