程序監控指令碼

背景

啟動於正式伺服器的專案，有時會因為某種因素，例如docker記憶體超限因而容器崩潰（前不久就遇過…），如伺服器記憶體不足或IO讀寫異常而崩潰….等等等等。而這些原因，都可能影響到專案的正常執行，嚴重地將會被kill掉。那麼，在伺服器上弄一套程序監控方案就很有必要了！

說明

程序監控採用shell指令碼的形式，結合日常開發使用的CI工具（如Jenkins），再通過Linux伺服器的定時器，定時監控程序，當程序被killed，服務自動重啟。

• 程序：shell script
• 整合：Jenkins
• 打包：Jar

簡單介紹Jenkins

Jenkins 是一個開源專案，提供了一種易於使用的持續整合系統，使開發者從繁雜的整合中解脫出來，專注於更為重要的業務邏輯實現上。同時 Jenkins 能實施監控整合中存在的錯誤，提供詳細的日誌檔案和提醒功能，還能用圖表的形式形象地展示專案構建的趨勢和穩定性。

進入主題

注：install jenkins的過程暫不在本篇介紹，若有時間，會整理出來。

簡單幾句話帶過：

jenkins新建一個需持續整合的maven專案，然後配置了從git拉取原始碼之後，通過執行shell指令碼打包到Linux伺服器執行。

流程

一、Jenkins shell指令碼

示例

PROJECT=online_store
MOD=cms
PORT=9065
IP=xxx
ssh [email protected] sh -xe deploy-production.sh $PROJECT $JOB_NAME $MOD $PORT $IP

解析：
xxx

yyy：這個IP務必是 deploy-production.sh 指令碼所在的伺服器，至關重要，影響著打包及程序監控，可理解為Jenkins持續整合到Linux伺服器的入口

二、Linux伺服器執行的初始指令碼

注：初始指令碼，言下之意是Jenkins與Linux伺服器互動的第一個指令碼，其餘操作包括監控都與初始指令碼息息相關

由於是博主為公司持續整合寫的指令碼，涉及一些隱私，故不全貼出來，僅貼關鍵部分。

1、接收引數

PROJECT=$1
JOB=$2
 

MOD=$3
PORT=$4
IP=$5

2、主要流程程式碼根據企業需求不同而編寫不同程式碼，關鍵執行程式碼如下：

nohup /usr/bin/java -jar -Dsun.jnu.encoding=UTF8 -Dfile.encoding=UTF8 -Dspring.profiles.active=production,swagger$MOD $JOB.jar >> /dev/null 2>&1 &

說明：可選擇性開啟swagger。

3、注意注意！！！監控程式碼執行語句…

sh ~/monitor_exec.sh $PROJECT $JOB $MOD $PORT

解析：顯而易見，執行 monitor_exec.sh 指令碼。

三、監控指令碼的初始指令碼

作用：將監控指令碼寫入定時器。

關鍵程式碼：

#!/bin/sh
PROJECT=$1
JOB=$2
MOD=$3
PORT=$4

mkdir -p ~/cron/
touch ~/cron/$PROJECT.cron
file=~/cron/$PROJECT.cron

echo 'cron path：'$file;

if test -s $file; then
  echo "cron檔案內容不為空";
else
  echo "* * * * * sh /root/monitor.sh $PORT $PROJECT $MOD $JOB" >> ~/cron/$PROJECT.cron
  crontab ~/cron/$PROJECT.cron

解析：中間echo的cron path路徑，會輸出到Jenkins日誌裡。目的是將執行 monitor.sh 寫入伺服器定時任務。cron規則就不介紹了，自定義即可。

說明：監控指令碼的執行過程，應該加上日誌輸出，這是好習慣，以便做記錄！

四、重點：監控指令碼

關鍵程式碼

#!/bin/sh
PID=`/usr/sbin/lsof -i:$1 | grep -E 'java|node' | awk '{print $2}'`
PROJECT=$2
MOD=$3
JOB=$4

mkdir -p ~/log
touch ~/log/$PROJECT.log

if test -z "$PID"
then
  echo '後臺自啟動' >> ~/log/$PROJECT.log

  nohup /usr/bin/java -jar -Dsun.jnu.encoding=UTF8 -Dfile.encoding=UTF8 -Dspring.profiles.active=test,swagger$MOD ~/$PROJECT/$JOB.jar >> /dev/null 2>&1 &

  sleep 5
  echo '啟動成功！！！' >> ~/log/$PROJECT.log

else
  echo 'service has been started' >> ~/log/$PROJECT.log
fi

解析：Jar包會運行於伺服器的一個埠上，與其同時也會對應一個程序號，以一定的時間規則去檢查程序號是否存在，判斷不在自啟動即可，邏輯很簡單。

拓展部分：整合釘釘通知

背景：程序被kill，若是企業開發人員想要知道被kill的原因，便會檢視日誌，而通知就很有必要了。由於博主所在企業使用釘釘工作，因此整合在釘釘機器人，可實時通知開發人員。

關鍵程式碼

echo '釘釘通知開始' >> ~/log/$PROJECT.log

curl 'https://oapi.dingtalk.com/robot/send?access_token= xxx ' \
   -H 'Content-Type: application/json' \
   -d '
  {"msgtype": "text",
    "text": {
        "content": "釘釘--- jiayuan 監控測試，killed port：'$1'，project：'$PROJECT' has been killed，已重啟"
     }
  }'

  sleep 3
  echo '釘釘通知結束' >> ~/log/$PROJECT.log

說明：
xxx：填上對應釘釘機器人的access_token即可。

注：指令碼現在還一直在迭代，為了讓指令碼更強大、更健壯，我也會一直持續地完善…

相關截圖

日誌

釘釘通知

檢視定時任務

總結

好了，真真真好久沒寫部落格了，最近有些許忙，雖然有好多好多新鮮玩意想寫，但一直沒機會分享！

本篇依舊介紹一直以來頗有興趣的伺服器部分，但架構一個更完善、更健壯的開發體系，還有很多很多東西要學…