goaccess-nginx日誌分析工具
提到web伺服器就不得不說nginx。這款由俄羅斯人開發的小巧的web服務軟體近幾年來風靡大江南北;成為許多草根站長建設網站的首選。但由於歷史原因,nginx日誌分析工具相較於傳統的apache、lighthttp等要匱乏的多。
筆者今天在這裡為各位介紹一個牛X的實時日誌分析工具GoAccess。不僅安裝簡單,功能強大,並且支援nginx日誌格式。實在是草根站長們手中又一犀利武器,不可不備^_^。
目前主流的日誌分析工具多采用html格式呈現給網站管理者或使用者。這樣的做法無可厚非;既然開通了網站,通過瀏覽器檢視訪客詳情也符合邏輯。但,這類工具的缺點也十分明顯,實時性較差。為了提高伺服器效能,管理員多會按時歸檔日誌統計資訊。這樣一來,很多故障資訊都無法實時分析。如果管理員登入了文字介面的
nginx日誌分析工具GoAccess特色簡介
使用GoAccess就不會有這樣的困擾啦。各位可以把它作為傳統日誌分析工具很好的補充。在X windows或text mode下實時檢視訪客詳情,顯示介面很友好;GoAccess表示毫無壓力^_^。
目前,我們可以通過這款軟體檢視的統計資訊有:
- 統計概況,流量消耗等
- 訪客排名
- 動態Web請求
- 靜態web請求,如圖片、樣式表、指令碼等。
- 來路域名
- 404 錯誤
- 作業系統
- 瀏覽器和搜尋引擎
- 主機、DNS和IP地址
- HTTP 響應程式碼
- 引薦網站
- 鍵盤佈局
- 自定義顯示
- 支援超大日誌(分析速度很快)
支援的日誌格式
目前,這款軟體支援Common Log Format (CLF) 和 Combined Log Format(XLF/ELF) 格式的日誌。分析傳統的apache格式日誌當然毫無問題。同時,只要將nginx的日誌格式定義為apache格式,對它的分析也不在話下(目前,redhat提供的nginx軟體包預設日誌格式和apache基本一致)。
GoAccess安裝注意事項
使用Debian或Ubuntu的同學可以直接通過apt-get來下載安裝軟體。自動解決軟體的依賴問題。Redhat或CentOS使用者可以有現成rpm包下載安裝;但需要手動解決軟體依賴。
下面筆者著重介紹下在類Redhat系統下如何編譯安裝GoAccess:
需要用到的幾個庫檔案有:
- glib2
- GeoIP
- ncurses
這些都時常用的庫檔案,直接yum安裝就能搞定:
?1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
yum
install
glib2 glib2-devel GeoIP-devel ncurses-devel
#從官方下載最新的tarball
#author
freemouse
wget
http: //sourceforge .net /projects/goaccess/files/0 .4.2 /goaccess-0 .4.2. tar .gz /download
tar
zxvf goaccess-0.4.2. tar .gz
cd
goaccess-0.4.2
#啟動ip歸屬地查詢、和utf8編碼格式支援
. /configure
–enalbe-geoip – enable -utf8
make
&& make
install
|
如果你使用的伺服器版本不在以上四個之列,可以去官網的Download頁面檢視相應的安裝方式,目前支援的還有git、FreeBSD等。
用法介紹
GoAccess的基本語法如下:
goaccess [ -b ][ -s ][ -e IP_ADDRESS][ - a ] <-f log_file >
引數說明:
- -f – 日誌檔名
- -b – 開啟流量統計,如果希望加快分析速度不建議使用該引數
- -s – 開啟HTTP響應程式碼統計
- -a – 開啟使用者代理統計
- -e – 開啟指定IP地址統計,預設禁用
用法示例:
最簡單、常用的命令就是直接呼叫goaccess命令啦,不帶任何影響效率的其他引數
goaccess –f access.log
如果需要檢視其他資訊,我們加入如下引數以顯示HTTP響應程式碼、使用者代理、流量消耗
goaccess –f access.log –s –a –b
如果你覺得這樣還不能滿足你的需求。別急,goaccess支援linux管道(Pipe),我們可以將日誌檔案預處理後,再交給goaccess去分析。
zcat access.log.1.gz | goaccess
讓goaccess去分析已經打包壓縮好的日誌檔案。
或者乾脆分析目前下所有日誌
zcat access.log* | goaccess
如果需要分析某天的日誌,例如10月5號那天的日誌,我們讓linux管道命令來大顯身手^_^。
sed -n ‘/05\/Dec\/2010/,$ p’ access.log | goaccess -s –b
分析從11月5號到12月5號一個月內的日誌
sed -n ‘/5\/Nov\/2010/,/5\/Dec\/2010/ p’ access.log | goaccess -s –b
當你不希望在伺服器上安裝goaccess程式,可以通過呼叫本地的goaccess程式來分析伺服器上的日誌(很神奇吧^_^):
ssh [email protected] ‘cat /var/log/apache2/access.log’ | goaccess -s -a -b
GoAccess日誌分析的速度
大部分伺服器對日誌分析的速度都比較敏感,如果在分析日誌時造成伺服器其他服務的不穩定,那還不如不用呢。據GoAccess官方的說法:使用AMD Sempron 2.31GHz的CPU+2GB記憶體,開啟GoAccess所有功能,該軟體每秒可以處理10萬行日誌。當然,如果使用的CPU更強勁,擁有更多的記憶體,GoAccess的表現會更加出色。
相關推薦
goaccess-nginx日誌分析工具
提到web伺服器就不得不說nginx。這款由俄羅斯人開發的小巧的web服務軟體近幾年來風靡大江南北;成為許多草根站長建設網站的首選。但由於歷史原因,nginx日誌分析工具相較於傳統的apache、lighthttp等要匱乏的多。 筆者今天在這裡為各位介紹一個牛X的實時日
日誌分析工具 GoAccess v1.3 釋出,支援簡體中文和安裝使用
GoAccess 簡介 簡單來說呢 GoAccess 是一個專門用來分析日誌的工具,既可以在終端中展示結果,也可以生成 HTML 報表在瀏覽器中檢視。GoAccess 最吸引人的一點就是它生成的 HTML 足夠炫酷(ÒωÓױ)。 其他方面的特性包括 1、資料近乎是實時的——瀏覽
nginx日誌分析利器GoAccess
面試的時候一定會被面到的問題是:給出web伺服器的訪問日誌,請寫一個指令碼來統計訪問前10的IP有哪些?訪問前10的請求有哪些?當你領略過goaccess之後,你就明白,這些問題,除了考驗你的指令碼背誦記憶能力以外,唯一的作用只有裝A或者裝C了。 對於nginx日誌分析,有很多工具,衡量好壞的標準大概就是三
Logwatch日誌分析工具
logwatch日誌監控介紹:Logwatch是使用 Perl 開發的一個日誌分析工具。Logwatch能夠對Linux 的日誌文件進行分析,並自動發送mail給相關處理人員,可定制需求。Logwatch的mail功能是借助宿主系統自帶的mail server 發郵件的,所以系統需安裝mail server
pt-query-digest查詢日誌分析工具
tcp 技術 一段時間 ext 所在 mda pop json sdn 版權聲明:本文為博主原創文章,未經博主允許不得轉載。 工具簡介 pt-query-digest是用於分析mysql慢查詢的一個工具,它可以分析binlog、General log、slo
慢查詢日誌分析工具之pt-query-digest
lan git bash pre 日誌分析 windows images git 所有 curl 簡介 pt-query-digest 是用於分析mysql慢查詢的一個工具,與mysqldumpshow工具相比,py-query_digest 工具的分析結果更
用shell做nginx日誌分析
linux nginx 數據挖掘#!/bin/bash if [[ $# == 0 ]];thenecho "Error:請輸入要查詢的天數???"elseecho "暫時不支持centos的7的版本!!!"NOW_TIME_CUO=date +%s((END_TIME
Apache日誌分析工具awstats配置
日誌分析工具awstats安裝 日誌分析工具awstats配置 Apache日誌分析工具awstats Apache編譯安裝步驟 Apache日誌分析工具awstats配置 awstats軟件下載地址:http://www.awstats.org/#DOWNLOADhttps://awstat
loganalyzer日誌分析工具(CentOS7.4)
loganalyzer日誌分析工具 日誌服務器部署 loganalyzer日誌分析工具(CentOS7.4)Loganalyzer是一款syslog日誌和其他網絡事件數據的Web前端。它提供了對日誌的簡單瀏覽、搜索、基本分析和一些圖表報告的功能。數據可以從數據庫或一般的syslog文本文件中獲取,所以
資深架構師教你如何使用elk+redis搭建nginx日誌分析平臺!
pat 好的 oat ace efi 開啟 cse embed VM elk+redis 搭建nginx日誌分析平臺 logstash,elasticsearch,kibana 怎麽進行nginx的日誌分析呢?首先,架構方面,nginx是有日誌文件的,它的每個請求的狀
日誌分析工具、日誌管理系統、syslog分析
用戶 程序 方案 安全 inux aix 高效 應用 監控 日誌分析工具、日誌管理系統、syslog分析 系統日誌(Syslog)管理是幾乎所有企業的重要需求。系統管理員將syslog看作是解決網絡上系統日誌支持的系統和設備性能問題的關鍵資源。人們往往低估了對完整的sys-
一款全面高效的日誌分析工具,操作更簡單
analyze sys 海量 生成 box 發展 code 工具 it管理 一款全面高效的日誌分析工具,操作更簡單 Eventlog Analyzer是用來分析和審計系統及事件日誌的管理軟件,能夠對全網範圍內的主機、服務器、網絡設備、數據庫以及各種應用服務系統等產生的日誌,
Elastic+logstash+filebeat做Nginx日誌分析
uri down rac ash 存儲 日誌格式 over byte install 一、Elasticserach安裝1、Installation(elastic 6.3.2 版本 依賴 java JDK8) 下載合適的版本:curl -L -O https://art
強大的日誌分析工具 -- NSLogger
div lean 沒有 highlight 文件 fst tps set 日誌分析 源碼:https://github.com/fpillet/NSLogger 特點 擺脫Xcode的小窗查看日誌 不用再將iPhone連接到電腦上才能看日誌 支持通過互聯網傳送日誌 可以輸
ELK6.2.3日誌分析工具elasticsearch x-pack6.2.3許可權管理Security模組和內建角色介紹
啟動elasticsearch 1.自定義設定密碼,三個內建賬號根據提示設定密碼 ./bin/x-pack/setup-passwords interactive 2.自動生成密碼 ./bin/x-pack/setup-passwords auto 3.在kibana通過DSL語句設定密碼
ELK6.2.3日誌分析工具搭x-pack破解安裝(三)
一、elasticsearch安裝x-pack 1.切換安裝目錄 [email protected]: cd /usr/local/elk/elasticsearch-6.2.3/bin 2.執行安裝命令 [email protected]:/usr/local/e
ELK6.2.3日誌分析工具搭Elasticsearch-head安裝(二)
安裝Elasticsearch-head 1.切換目錄 cd /usr/local/elk/elasticsearch-6.2.3 2.下載 wget https://codeload.github.com/mobz/elasticsearch-head/zip/master 3.更改
ELK6.2.3日誌分析工具搭建JDK、Elasticsearch、Kibana安裝(一)
Logstash: Logstash服務的元件,用於處理傳入的日誌。 Elasticsearch: 儲存所有日誌 Kibana : 用於搜尋和視覺化的日誌的Web介面,通過nginx反代 Logstash Forwarder: 安裝在將要把日誌傳送到logstash的伺服器上,作為日誌轉發的道
nginx日誌分析之 grep、awk、sort、uniq命令使用
nginx日誌分析對於線上業務排錯有很大的幫助,運用合適的命令能夠快速、準確定位出問題。主要涉及awk、sort、uniq這三個命令的使用。 sort 參 數: -b 忽略每行前面開始出的空格字元。 -c 檢查檔案是否已經按照順序排序。 -d 排序時,處理英文
Mysql慢查詢日誌分析工具Mysqlsla安裝
yum install perl-DBI perl-DBD-MySQL perl-devel -y yum -y install perl-Time-HiRes cd /data/software wget ftp://ftp.tw.freebsd.org/pub/