描述
   雲查殺平臺以nginx作為反向代理伺服器，作為安全終端與雲查詢服務的橋樑。當安全終端需要查詢黑檔案時，HTTP請求及其響應都會經過nginx，為了獲取並統計一天24小時查詢的黑檔案數量，就得先截獲經過nginx的HTTP響應，再做資料分析。截獲HTTP資料流有多種方法，為了簡單高效，這裡使用了掛接HTTP過濾模組的方法，另外為了不影響nginx本身的IO處理，將HTTP響應實體傳送到另一個程序即統計服務，由統計服務來接收並分析HTTP響應，架構如下圖    統計服務由1個接收執行緒和1個儲存執行緒構成，其中接收執行緒負責接收從nginx過濾模組發來的HTTP響應實體，解析它並提取黑檔案MD5，加入共享環形佇列；而儲存執行緒從共享環形佇列移出黑檔案MD5，插入到臨時記憶體對映檔案，於每天定時同步到磁碟檔案。

特點
   這種架構減少了nginx IO延遲，保證了nginx的穩定高效執行，從而不影響使用者的業務執行；本地連線為非阻塞的，支援了統計服務的獨立執行與升級。

實現
   nginx過濾模組
      該流程執行在nginx工作程序。
      由於nginx採用了非同步IO機制，因此僅當截獲到HTTP響應實體也就是有資料經過時，才有後面的操作；若沒有資料，則什麼也不用做。這裡每次傳送前先判斷是否連線了統計服務，是為了支援統計服務的獨立執行與升級，換句話說，不管統計服務是否執行或崩潰，都不影響nginx的執行。

統計服務
   接收執行緒
      這裡的接收執行緒也就是主執行緒。
      儲存執行緒
      儲存執行緒為另一個工作執行緒。
      同步檔案定時器的時間間隔要比新建檔案定時器的短，由於定時器到期的事件處理是一種非同步執行流，所以將它們當做並行，與“從q頭移出黑檔案MD5”操作畫在了同一水平方向。 posted on 2016-08-25 11:10 春秋十二月 閱讀(676) 評論(0)  編輯 收藏 引用 所屬分類: Opensrc