1. 程式人生 > 實用技巧 >一文搞懂supervisor程序管理

一文搞懂supervisor程序管理

supervisor

使用Python編寫的程序管理程式supervisor來管理Python程式那是最合適不過了,supervisor基於CS架構,主要有以下兩個組成部分:

  1. supervisord:supervisord是supervisor的服務端程式。負責啟動子程式,應答客戶端命令,子程式日誌記錄,對程序變化傳送事件通知等
  2. supervisorctl: 客戶端命令列工具,可以連線伺服器端,進行程序的啟動、關閉、重啟、狀態檢視等。重要的一點是,supervisorctl不僅可以連線到本機上的supervisord,還可以連線到遠端的supervisord,當然在本機上面是通過UNIX socket連線的,遠端是通過TCP socket連線的。supervisorctl和supervisord之間的通訊,是通過xml_rpc完成的。 相應的配置在[supervisorctl]塊裡面

安裝

基於ubuntu16.04,不同linux發行版均可使用包管理器進行安裝,也可以使用原始碼安裝和pip安裝

apt-get install python-setuptools
apt-get install supervisor

pip安裝方法

pip install supervisor

當前最新版本3.3.3,supervisord.conf 和supervisord.d資料夾已自動生成在/etc/supervisor/目錄下。可以使用echo_supervisord_conf命令將配置資訊重定向到制定目錄,比如/etc

echo_supervisord_conf > /etc/supervisor/supervisord.conf

服務端啟動

supervisord -c /etc/supervisor/supervisord.conf

檢視supervisord是否在執行

ps aux | grep supervisord

supervisord.conf詳解

使用echo_supervisord_conf檢視supervisord.conf可選的配置項:

echo_supervisord_conf help

詳情如下

; Sample supervisor config file.
;
; For more information on the config file, please see:
; http://supervisord.org/configuration.html
;
; Notes:
;  - Shell expansion ("~" or "$HOME") is not supported.  Environment
;    variables can be expanded using this syntax: "%(ENV_HOME)s".
;  - Comments must have a leading space: "a=b ;comment" not "a=b;comment".

[unix_http_server]
file=/tmp/supervisor.sock   ; socket 檔案路徑
;chmod=0700                 ; socket 檔案 模式 (預設 0700)
;chown=nobody:nogroup       ; socket file uid:gid owner
;username=user              ; 使用supervisorctl連線的使用者,預設沒有使用者
;password=123               ; 使用supervisorctl連線的使用者密碼,預設沒有密碼

;[inet_http_server]         ; Web Server和遠端的supervisorctl 配置塊(預設關閉)
;port=127.0.0.1:9001        ; 監聽的地址和埠
;username=user              ; 登入使用者,預設沒有使用者
;password=123               ; 登入密碼,預設沒有密碼

[supervisord]
logfile=/tmp/supervisord.log ; supervisord程序日誌路徑
logfile_maxbytes=50MB        ; supervisord程序單個日誌檔案大小,預設為50M
logfile_backups=10           ; 日誌檔案個數,預設為10個
loglevel=info                ; 日誌級別,預設為info,還支援debug,warn,trace)
pidfile=/tmp/supervisord.pid ; supervisord的pid檔案路徑。
nodaemon=false               ; 如果是true,supervisord程序將在前臺執行 預設為false(後臺執行)
minfds=1024                  ; 這個是最少系統空閒的檔案描述符,低於這個值supervisor將不會啟動
minprocs=200                 ; 最小可用的程序描述符,低於這個值supervisor也將不會正常啟動
;umask=022                   ; 程序建立檔案的掩碼 (預設 022)
;user=chrism                 ; user引數指定的使用者也可以對supervisord進行管理
;identifier=supervisor       ; supervisord的識別符號,預設supervisor
;directory=/tmp              ; 當supervisord以守護程序執行的時候,啟動supervisord程序之前,會先切換到這個目錄
;nocleanup=true              ; false的時候 supervisord程序啟動的時候 會在把以前子程序產生的臨時檔案清除掉(true不清除)
;childlogdir=/tmp            ; 當子程序日誌路徑為AUTO的時候,子程序日誌檔案的存放路徑 (預設 $TMP)
;environment=KEY="value"     ; 這個是用來設定環境變數的,supervisord在linux中啟動預設繼承了linux的 環境變數,在這裡可以設定supervisord程序特有的其他環境變數supervisord啟動子程序時,子程序會拷貝父程序的記憶體空間內容。 所以設定的這些環境變數也會被子程序繼承 (預設不設定)
;strip_ansi=false            ; 預設為falsh,如果設定為true,會清除子程序日誌中的所有ANSI(\n,\t) 序列

; 這個選項是給XML_RPC用的,如果想使用supervisord或者web server 必須要開啟
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; supervisorctl本地連線supervisord,使用本地UNIX socket
;serverurl=http://127.0.0.1:9001 ; supervisorctl遠端連線supervisord的時候,用到的地址和埠
;username=chris              ; 連線登入的使用者名稱,需要和http_username一致
;password=123                ; 連線登入的密碼,需要和http_password一致
;prompt=mysupervisor         ; 輸入使用者名稱密碼時候的提示符 預設:mysupervisor 
;history_file=~/.sc_history  ; 指定歷史命令的檔案


;[program:theprogramname]      ; 指定program配置
;command=/bin/cat              ; 要執行的程序 可帶引數 $1 $2 $3  注意!! 執行的程序不能是守護程序 ! !
;process_name=%(program_name)s ; numprocs引數為1時,就不用管這個引數 預設值%(program_name)s也就是上面的那個program冒號後面的名字
;numprocs=1                    ; 啟動程序的數目。當不為1時,就是程序池的概念,預設為1
;directory=/tmp                ; 程序執行前,會前切換到這個目錄
;umask=022                     ; 程序掩碼 (default None)
;priority=999                  ; 子程序啟動關閉優先順序,優先順序低的,最先啟動,關閉的時候最後關閉 (default 999)
;autostart=true                ; 設定為true 子程序將在supervisord啟動後被自動啟動,預設為true
;startsecs=1                   ; 設定子程序啟動多少秒之後,此時狀態如果是running,則我們認為啟動成功
;startretries=3                ; 程序啟動失敗後,最大嘗試啟動的次數 當超過3次後,supervisor將把此程序的狀態置為FAIL
;autorestart=unexpected        ; 設定子程序掛掉後自動重啟的情況,有三個選項,false,unexpected和true。如果為false的時候,無論什麼情況下,都不會被重新啟動,如果為unexpected,只有當程序的退出碼不在上面的exitcodes裡面定義的退出碼的時候,>才會被自動重啟。當為true的時候,只要子程序掛掉,將會被無條件的重啟。預設為unexpected
;exitcodes=0,2                 ; 注意和上面的的autorestart=unexpected對應 exitcodes裡面的定義的退出碼是expected的。
;stopsignal=QUIT               ; 程序停止訊號,可以為TERM, HUP, INT, QUIT, KILL, USR1, or USR2等訊號 預設為TERM 當用設定的訊號去殺掉程序,退出碼會被認為是expected
;stopwaitsecs=10               ; 這個是當我們向子程序傳送stopsignal訊號後,到系統返回資訊給supervisord,所等待的最大時間。 超過這個時間,supervisord會向該子程序傳送一個強制kill的訊號(預設10秒)
;stopasgroup=false             ; 這個東西主要用於,supervisord管理的子程序,這個子程序本身還有子程序 那麼我們如果僅僅幹掉supervisord的子程序的話,子程序的子程序有可能會變成孤兒程序 所以咱們可以設定這個選項,把整個該子程序的整個程序組都幹掉  設定為true的話,一般killasgroup也會被設定為true 該選項傳送的是stop訊號(def false)
;killasgroup=false             ; 這個和上面的stopasgroup類似,不過傳送的是kill訊號(def false)
;user=chrism                   ; 如果supervisord是root啟動,我們在這裡設定這個非root使用者,可以用來管理該program 預設不設定
;redirect_stderr=true          ; 為true,則stderr的日誌會被寫入stdout日誌檔案中 (default false)
;stdout_logfile=/a/path        ; 子程序的stdout的日誌路徑,可以指定路徑,AUTO,none等三個選項 設定為none的話,將沒有日誌產生。設定為AUTO的話,將隨機找一個地方成日誌檔案,而且當supervisord重新啟動的時候,以前的日誌檔案會被清空。當 redirect_stderr=true的時候,sterr也會寫進這個日誌檔案
;stdout_logfile_maxbytes=1MB   ; 日誌檔案最大大小,和[supervisord]中定義的一樣 (default 50MB)
;stdout_logfile_backups=10     ; 和[supervisord]定義的一樣 (0 means none, default 10)
;stdout_capture_maxbytes=1MB   ; 這個東西是設定capture管道的大小,當值不為0的時候,子程序可以從stdout傳送資訊,而supervisor可以根據資訊,傳送相應的event  (default 0)
;stdout_events_enabled=false   ; 為ture的時候,當子程序由stdout向檔案描述符中寫日誌的時候,將觸發supervisord傳送PROCESS_LOG_STDOUT型別的event(default false)
;stderr_logfile=/a/path        ; 設定stderr寫的日誌路徑,當redirect_stderr=true。這個就不用設定了,設定了也是白搭。因為它會被寫入stdout_logfile的同一個檔案中 default AUTO(隨便找個地存,supervisord重啟被清空)
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10     ; # of stderr logfile backups (default 10)
;stderr_capture_maxbytes=1MB   ; number of bytes in 'capturemode' (default 0)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A="1",B="2"       ; 這個是該子程序的環境變數,和別的子程序是不共享的
;serverurl=AUTO                ; override serverurl computation (childutils)

;[eventlistener:theeventlistenername]    ; eventlistener其實和program的地位是一樣的,也是suopervisor啟動的子程序,不過它乾的活是訂閱supervisord傳送的event。他的名字就叫listener了。我們可以在listener裡面做一系列處理,比如報警....
;command=/bin/eventlistener    ; 和上面的program一樣,表示listener的可執行檔案的路徑
;process_name=%(program_name)s ; 這個也一樣,程序名,當下面的numprocs為多個的時候,才需要。否則預設就OK了
;numprocs=1                    ; 相同的listener啟動的個數,預設1
;events=EVENT                  ; event event事件的型別,也就是說,只有寫在這個地方的事件型別。才會被髮送
;buffer_size=10                ; event佇列快取大小 (default 10)
;directory=/tmp                ; 程序執行前,會切換到這個目錄下執行 (def no cwd)
;umask=022                     ; umask for process (default None)
;priority=-1                   ; 啟動優先順序 (default -1)
;autostart=true                ; supervisord啟動時一起啟動 (default: true)
;startsecs=1                   ; 設定子程序啟動多少秒之後,此時狀態如果是running,則我們認為啟動成功了 (def. 1)
;startretries=3                ; 失敗最大嘗試次數 (default 3)
;autorestart=unexpected        ; 和program一樣 (def: unexpected)
;exitcodes=0,2                 ; 'expected' exit codes used with autorestart (default 0,2)
;stopsignal=QUIT               ; signal used to kill process (default TERM)
;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false             ; send stop signal to the UNIX process group (default false)
;killasgroup=false             ; SIGKILL the UNIX process group (def false)
;user=chrism                   ; setuid to this UNIX account to run the program
;redirect_stderr=false         ; redirect_stderr=true is not allowed for eventlisteners
;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO
;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
;stdout_events_enabled=false   ; emit events on stdout writes (default false)
;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10     ; # of stderr logfile backups (default 10)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A="1",B="2"       ; process environment additions
;serverurl=AUTO                ; override serverurl computation (childutils)

;[group:thegroupname]          ; 給programs分組,劃分到組裡面的program。我們就不用一個一個去操作了 我們可以對組名進行統一的操作。 注意:program被劃分到組裡面之後,就相當於原來的配置從supervisor的配置檔案裡消失了supervisor只會對組進行管理,而不再會對組裡面的單個program進行管理了
;programs=progname1,progname2  ; 組成員,用逗號分開
;priority=999                  ; 優先順序,相對於組和組之間 (default 999)

;[include]                     ;包含的程式配置檔案
;files = relative/directory/*.ini

提取supervisord.conf模板

採用supervisord.conf和program.conf分離的方式進行本機程序管理,從預設配置中抽取出常用的supervisord模板

; supervisor config file

[unix_http_server]
file=/var/run/supervisor.sock   ; (the path to the socket file)

[inet_http_server]         ; inet (TCP) server disabled by default
port=127.0.0.1:9001        ; (ip_address:port specifier, *:port for all iface)
username=erow              ; (default is no username (open server))
password=j                 ; (default is no password (open server))

[supervisord]
logfile=/var/log/supervisor/supervisord.log ; (main log file;default $CWD/supervisord.log)
pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
loglevel=debug               ; (log level;default info; others: debug,warn,trace)
logfile_maxbytes=10MB        ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10           ; (num of main logfile rotation backups;default 10)

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///var/run/supervisor.sock ; use a unix:// URL  for a unix socket

[include]
files = /etc/supervisor/conf.d/*.ini

模板抽取基於以下考慮

  • 必填選項不可少
  • 服務端支援本地supervisorctl客戶端連線也支援遠端連線
  • 測試環境日誌級別設定為debug,生產環境日誌級別設定為info,修改loglevel欄位即可
  • 日誌檔案大小和個數需要參考服務端所在機器的磁碟大小,會產生stderr和stdout兩種日誌
  • pid檔案和log檔案都不建議存放在/tmp下面,容易被誤刪除,因此放在var目錄下

提取program.conf模板

從預設配置中抽取出常用的program模板

[program:concurrency_statistician]
directory = /root/qk_python/data/statistic/concurrency_statistician
command = python concurrency_statistician.py
autostart = true
startsecs = 5
autorestart = true
startretries = 3
user = root

如果單獨調整program日誌大小和個數,則加入stdout和stderr四個引數,新的配置檔案如下

[program:concurrency_statistician]
directory = /root/qk_python/data/statistic/concurrency_statistician
command = python concurrency_statistician.py
autostart = true
startsecs = 5
autorestart = true
startretries = 3
user = root
stdout_logfile_maxbytes = 10MB
stdout_logfile_backups = 10
stderr_logfile_maxbytes = 10MB
stderr_logfile_backups = 10

一般情況下,不需要指定日誌檔名稱,預設的日誌檔名稱組成為

  • 程式名稱+日誌型別(stdout和stderr)+ supervisor+程序號+日誌編號

檔名稱示例:concurrency_statistician-stderr---supervisor-OpZ5di.log.2

需要注意:supervisor服務端程式supervisord重新啟動之後,會產生新的pid。因此日誌只會在新的程序日誌中產生,老的子程序日誌不會被刪除。因此如果需要重新啟動supervisord,則需要注意是否要保留老程序日誌,以免超過磁碟大小。

一般情況下,生產環境中不會經常重啟supervisord

常用supervisorctl命令

可以進入 supervisorctl 的 shell 介面,也可以直接在 bash 終端執行

# 停止某一個程序,program_name 為 [program:x] 裡的 x
supervisorctl stop program_name
# 啟動某個程序
supervisorctl start program_name
# 重啟某個程序
supervisorctl restart program_name
# 停止全部程序,注:start、restart、stop 都不會載入最新的配置檔案
supervisorctl stop all
# 載入最新的配置檔案,停止原有程序並按新的配置啟動、管理所有程序
supervisorctl reload
# 根據最新的配置檔案,啟動新配置或有改動的程序,配置沒有改動的程序不會受影響而重啟
supervisorctl update

關於program groups的命令使用較少暫不介紹


參考資料:

  1. supervisor 官方文件
  2. 小強齋太-Supervisor簡介、安裝、配置
  3. 使用supervisor管理程序
  4. 廖雪峰-Linux後臺程序管理利器:supervisor
  5. 烏龜運維-Supervisor 安裝及配置
  6. oschina-SUPERVISOR程序管理器配置指南

記得幫我點贊哦!

精心整理了計算機各個方向的從入門、進階、實戰的視訊課程和電子書,按照目錄合理分類,總能找到你需要的學習資料,還在等什麼?快去關注下載吧!!!

念念不忘,必有迴響,小夥伴們幫我點個贊吧,非常感謝。

我是職場亮哥,YY高階軟體工程師、四年工作經驗,拒絕鹹魚爭當龍頭的斜槓程式設計師。

聽我說,進步多,程式人生一把梭

如果有幸能幫到你,請幫我點個【贊】,給個關注,如果能順帶評論給個鼓勵,將不勝感激。

職場亮哥文章列表:更多文章

本人所有文章、回答都與版權保護平臺有合作,著作權歸職場亮哥所有,未經授權,轉載必究!