項目 mail.py request mon 子程序 ns3 信息 discuz 當前

需求：使用shell定制各種個性化告警工具，但需要統一化管理、規範化管理。
思路：指定一個腳本包，包含主程序、子程序、配置文件、郵件引擎、輸出日誌等。
主程序：作為整個腳本的入口，是整個系統的命脈。
配置文件：是一個控制中心，用它來開關各個子程序，指定各個相關聯的日誌文件。
子程序：這個才是真正的監控腳本，用來監控各個指標。
郵件引擎：是由一個python程序來實現，它可以定義發郵件的服務器、發郵件人以及發件人密碼
輸出日誌：整個監控系統要有日誌輸出。
要求：我們的機器角色多種多樣，但是所有機器上都要部署同樣的監控系統，也就說所有機器不管什麽角色，整個程序框架都是一致的，不同的地方在於根據不同的角色，定制不同的配置文件。
程序架構：

                                                                     （主目錄 mon）
                                                                                 |

---

             | ? ? ? ? ? ? ? ? ?         ?  | ? ? ? ? ? ? ? ? ? ? ?        ? | ? ? ? ? ? ? ?                         ? | ? ? ? ? ? ?                         ?        ? |
            bin ? ? ? ? ? ? ? ? ?    conf ? ? ? ? ? ? ?        ? ? ? shares ? ? ? ?             ? ?        mail ? ? ? ? ? ? ?                            log 
     [main.sh] ? ? ? ? ? ?  [mon.conf] ? ? ? ? ? ?         [load.sh 502.sh] ?           [mail.py mail.sh]               [mon.log err.log ] 
     bin下是主程序 ? ? ? conf下是配置文件 ? shares下是各個監控腳本 ? mail下是郵件引擎 ? ?           log下是日誌。
 

告警系統主腳本

定義監控系統的各個目錄，然後再去定義主腳本，因為是分布式的，所以需要每一臺機器都需要定義，事先創建好各個腳本和各個目錄，隨後腳本直接拷貝過去即可，然後再去做一些更改
所有的shell腳本放到 /usr/local/sbin/ 目錄下，方便查找

[root@src ~]# cd /usr/local/sbin/
[root@localhost sbin]# mkdir mon
[root@localhost sbin]# cd mon
[root@localhost mon]# ls
[root@localhost mon]# mkdir bin conf shares log mail
[root@localhost mon]# ls
bin conf log mail shares
 

主腳本放在 bin目錄下，主腳本作為一個入口，應該去判斷配置文件，查看某監控項目是否需要監控，還需調用各個需要監控的子腳本

[root@localhost bin]# vim main.sh
#!/bin/bash
#Written by aming.
# 是否發送郵件的開關
#只要把send 改成了1，就會給下面所有的監控的項目都會發送郵件，export表示所有的變量會應用在所有的子腳本裏（若是系統處於維護狀態，就需要關閉所有的服務，這時候就需要先把告警關閉，否則會一直發郵件）
export send=1
# 過濾ip地址,可以定義一個hostname，這樣可以知道是哪臺機器
export addr=`/sbin/ifconfig |grep -A1 "ens33: "|awk ‘/inet/ {print $2}‘`
# 找一下當前腳本所在的目錄 ?
dir=`pwd`
# 只需要最後一級目錄名
last_dir=`echo $dir|awk -F‘/‘ ‘{print $NF}‘`
# 下面的判斷目的是，保證執行腳本的時候，我們在bin目錄裏，不然監控腳本、郵件和日誌很有可能找不到
if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then
 ? ?conf_file="../conf/mon.conf"
else
 ? ?echo "you shoud cd bin dir"
 ? ?exit
fi
#日誌記錄
exec 1>>../log/mon.log 2>>../log/err.log
#求出系統負載
echo "`date +"%F %T"` load average"
/bin/bash ../shares/load.sh
#先檢查配置文件中是否需要監控502
if grep -q ‘to_mon_502=1‘ $conf_file; then
 ? ?#找出log的路徑
 ? ?export log=`grep ‘logfile=‘ $conf_file |awk -F ‘=‘ ‘{print $2}‘ |sed ‘s/ //g‘`
 ?  /bin/bash ../shares/502.sh
fi

告警系統配置文件

配置文件一定要放到conf目錄下，名稱必須為mon.conf,不能隨意改動，因為在主腳本中已經設置好了
就是定義一些開關，定義一些對應的日誌路徑，或者說監控mysql的用戶名和密碼，以及IP地址port端口等

[root@localhost mon]# vim conf/mon.conf
## to config the options if to monitor
## 定義mysql的服務器地址、端口以及user、password
to_mon_cdb=0 ? 
##cdb等於0 or 1, default 0,0 not monitor, 1 monitor
db_ip=10.20.3.13
db_port=3315
db_user=username
db_pass=passwd
## httpd 如果是1則監控，為0不監控
to_mon_httpd=0
## php 如果是1則監控，為0不監控
to_mon_php_socket=0
## http_code_502 需要定義訪問日誌的路徑
to_mon_502=1
logfile=/data/log/xxx.xxx.com/access.log
## request_count 定義日誌路徑以及域名
to_mon_request_count=0
req_log=/data/log/www.discuz.net/access.log
domainname=www.discuz.net

把請求日誌摘出來的目的，就是考慮到要想把shell寫得規範化，標準化，那你肯定要考慮監控的機器肯定不止1臺；要想要讓腳本通用，兼容性很強，就需要把所有需要監控的服務的日誌都載入到配置文件中，改動起來方便，省得後期改動起來一個一個的對應腳本去修改，就太麻煩了
告警系統監控項目

定義子腳本，就是監控項目
第一個load.sh是必須要有的，因為在主腳本中已經定義了任何一臺機器都要監控系統負載

[root@localhos shares]# vim load.sh
#!/bin/bash
##Writen by aming##
load=`uptime |awk -F ‘average:‘ ‘{print $2}‘|cut -d‘,‘ -f1|sed ‘s/ //g‘ |cut -d. -f1`
#計算系統負載
if [ $load -gt 10 ] && [ $send -eq "1" ]
then
echo "$addr `date +%T` load is $load" >../log/load.tmp ?
#這條命令的目的是為了發送日誌
/bin/bash ../mail/mail.sh [email protected] "$addr\_load:$load" `cat ../log/load.tmp`
fi
echo "`date +%T` load is $load"

502.sh內容（502肯定需要一個日誌），502涉及到一個訪問日誌，訪問日誌又設計到一個時間,因為腳本監控主腳本是的是1分鐘執行一次，所以502監控，看的肯定1分鐘以前訪問日誌的時間，信息

#! /bin/bash
d=`date -d "-1 min" +%H:%M`
c_502=`grep :$d: $log |grep ‘ 502 ‘|wc -l`
#截取一分鐘以前的時間
if [ $c_502 -gt 10 ] && [ $send == 1 ]; then
 echo "$addr $d 502 count is $c_502">../log/502.tmp
 /bin/bash ../mail/mail.sh $addr\_502 $c_502 ../log/502.tmp
#mail就是定義發送給誰，發送的主題，發送的內容
fi
echo "`date +%T` 502 $c_502"

disk.sh內容（磁盤使用率）,思路就是挨個把分區看下

#! /bin/bash
##Writen by aming##
rm -f ../log/disk.tmp
for r in `df -h |awk -F ‘[ %]+‘ ‘{print $5}‘|grep -v Use` ?
#[ %]+ 以多個空格或者% 作為分隔符，+號表示一個或多個；因為系統默認是英文，所以grep -v Use 過濾掉的就是已使用的
do
if [ $r -gt 90 ] && [ $send -eq "1" ]
then
echo "$addr `date +%T` disk useage is $r" >>../log/disk.tmp
fi
done
if [ -f ../log/disk.tmp ]
then
df -h >> ../log/disk.tmp
/bin/bash ../mail/mail.sh $addr\_disk $r ../log/disk.tmp
echo "`date +%T` disk useage is nook"
else
echo "`date +%T` disk useage is ok"
fi

郵件告警系統需求分析