最近在深入系統運維的事情，從伺服器配置、調優、維護，到各種指令碼編寫。實現自動化智慧運維的目標還要很遠。

從nginx的日誌中分析每日有效的pv和各搜尋引擎爬蟲的請求數。指令碼用awk實現。

函式庫檔案 stat_func.sh

#!/bin/bash stat_log_path=/usr/local/qqsa/result stat_nginx_log() { local basename=`basename $1` local newfile="${stat_log_path}/${basename%%.*}.pv.`date +'%Y-%m-%d'`" awk -F/" ' { if( $2 ~ /css|txt|ico/ ) res["static"]++; else if ( $6 ~ /Baiduspider/ ) {res["baidu"]++;res["spider"]++;} else if ( $6 ~ /Googlebot/ ) {res["google"]++;res["spider"]++;} else if ( $6 ~ /Yahoo! Slurp/) {res["yahoo"]++;res["spider"]++;} else if ( $6 ~ /Sogou web spider/) {res["sogou"]++;res["spider"]++;} else if ( $6 ~ /Sosospider/) {res["soso"]++;res["spider"]++;} else if ( $6 ~ /YodaoBot/) {res["youdao"]++;res["spider"]++;} else if ( $6 ~ /msnbot/) {res["msnbot"]++;res["spider"]++;} else if ( $6 ~ /iaskspider/) {res["sina"]++;res["spider"]++;} else res["good"]++; } END { for(item in res) print item ":" res[item] }' $1 > $newfile }

執行檔案 stat_every_day.sh

#!/bin/bash . ./stat_func.sh date=`date +'%Y-%m-%d'` find /data/cs_log_backup/${date} -name "*.access.*" | / while read file do $( stat_nginx_log "$file" ) done

crontab -e

最下面增加一行

00 3 * * * /usr/local/maintain/stat_every_day.sh > /dev/null 2 >& 1

參考文獻：