訊息佇列處理後臺任務帶來的問題

專案中經常會有後臺執行任務的需求，比如傳送郵件時，因為要連線郵件伺服器，往往需要5-10秒甚至更長時間，如果能先給使用者一個成功的提示資訊，然後在後臺慢慢處理髮送郵件的操作，顯然會有更好的使用者體驗。

為了實現類似的需求，Web專案中一般的實現方法是使用訊息佇列(Message Queue)，比如MemcacheQ，RabbitMQ等等，都是很著名的產品。

訊息佇列說白了就是一個最簡單的先進先出佇列，佇列的一個成員就是一段文字。正是因為訊息佇列實在太簡單了，當拿著訊息佇列時，反而有點無從下手的感覺，因為這僅僅一個傳送郵件的任務，就會引申出很多問題：

1. 訊息佇列只能儲存字串型別的資料，如何將一個傳送郵件這樣的“任務”，轉換為訊息佇列中的一個“訊息”?
2. 訊息佇列只負責資料的存放與進出，本身不能執行任何程式，那麼我們要如何從訊息佇列中一個一個取出資料，再將這些資料轉化回任務並執行。
3. 我們無法預知訊息佇列何時會有資料產生，所以我們的任務執行程式還需要具備監控訊息佇列的能力，也就是一個常駐後臺的守護程序。
4. 一般的Web應用PHP都以cgi方式執行，無法常駐記憶體。我們知道php還有cli模式，那麼守護程序是否能以php cli來實現，效率如何？
5. 當守護程序執行時，Web應用能否與後臺守護程序互動，實現開啟/殺死程序的功能以及獲得程序的執行狀態？

Resque對後臺任務的設計與角色劃分

對以上這些問題，目前為止我能找到的最好答案，並不是來自php，而是來自Ruby的專案

Resque是這樣解決這些問題的：

後臺任務的角色劃分

其實從上面的問題已經可以看出，只靠一個訊息佇列是無法解決所有問題的，需要新的角色介入。在Resque中，一個後臺任務被抽象為由三種角色共同完成：

• Job | 任務 ： 一個Job就是一個需要在後臺完成的任務，比如本文舉例的傳送郵件，就可以抽象為一個Job。在Resque中一個Job就是一個Class。
• Queue | 佇列 ： 也就是上文的訊息佇列，在Resque中，佇列則是由Redis實現的。Resque還提供了一個簡單的佇列管理器，可以實現將Job插入/取出佇列等功能。
• Worker | 執行者 ： 負責從佇列中取出Job並執行，可以以守護程序的方式執行在後臺。

那麼基於這個劃分，一個後臺任務在Resque下的基本流程是這樣的：

1. 將一個後臺任務編寫為一個獨立的Class，這個Class就是一個Job。
2. 在需要使用後臺程式的地方，系統將Job Class的名稱以及所需引數放入佇列。
3. 以命令列方式開啟一個Worker，並通過引數指定Worker所需要處理的佇列。
4. Worker作為守護程序執行，並且定時檢查佇列。
5. 當佇列中有Job時，Worker取出Job並執行，即例項化Job Class並執行Class中的方法。

至此就可以完整的執行完一個後臺任務。

在Resque中，還有一個很重要的設計：一個Worker，可以處理一個佇列，也可以處理很多個佇列，並且可以通過增加Worker的程序/執行緒數來加快佇列的執行速度。

php-resque的安裝

需要提前說明的是，由於涉及到程序的開闢與管理，php-resque使用了php的PCNTL函式，所以只能在Linux下執行，並且需要php編譯PCNTL函式。如果希望用Windows做同樣的工作，那麼可以去找找Resque的其他語言版本，php在Windows下非常不適合做後臺任務。

以Ubuntu12.04LTS為例，Ubuntu用apt安裝的php已經預設編譯了PCNTL函式，無需任何配置，以下指令均為root帳號

安裝Redis

apt-get install redis-server

安裝Composer

apt-get install curl
cd /usr/local/bin
curl -s http://getcomposer.org/installer | php
chmod a+x composer.phar
alias composer='/usr/local/bin/composer.phar'

使用Composer安裝php-resque

假設web目錄在/opt/htdocs

apt-get install git git-core
cd /opt/htdocs
git clone git://github.com/chrisboulton/php-resque.git
cd php-resque
composer install

php-resque的使用

編寫一個Worker

其實php-resque已經給出了簡單的例子， demo/job.php檔案就是一個最簡單的Job：

class PHP_Job
{
    public function perform()
    {
        sleep(120);
        fwrite(STDOUT, 'Hello!');
    }
}

這個Job就是在120秒後向STDOUT輸出字元Hello!

在Resque的設計中，一個Job必須存在一個perform方法，Worker則會自動執行這個方法。

將Job插入佇列

php-resque也給出了最簡單的插入佇列實現 demo/queue.php：

if(empty($argv[1])) {
    die('Specify the name of a job to add. e.g, php queue.php PHP_Job');
}

require __DIR__ . '/init.php';
date_default_timezone_set('GMT');
Resque::setBackend('127.0.0.1:6379');

$args = array(
    'time' => time(),
    'array' => array(
        'test' => 'test',
    ),
);

$jobId = Resque::enqueue('default', $argv[1], $args, true);
echo "Queued job ".$jobId."\n\n";

在這個例子中，queue.php需要以cli方式執行，將cli接收到的第一個引數作為Job名稱，插入名為'default'的佇列，同時向螢幕輸出剛才插入佇列的Job Id。在終端輸入：

php demo/queue.php PHP_Job

結果可以看到螢幕上輸出：

Queued job b1f01038e5e833d24b46271a0e31f6d6

即Job已經新增成功。注意這裡的Job名稱與我們編寫的Job Class名稱保持一致：PHP_Job

檢視Job執行情況

php-resque同樣提供了檢視Job執行狀態的例子，直接執行：

php demo/check_status.php b1f01038e5e833d24b46271a0e31f6d6

可以看到輸出為：

Tracking status of b1f01038e5e833d24b46271a0e31f6d6. Press [break] to stop. 
Status of b1f01038e5e833d24b46271a0e31f6d6 is: 1

我們剛才建立的Job狀態為1。在Resque中，一個Job有以下4種狀態：

• Resque_Job_Status::STATUS_WAITING = 1; (等待)
• Resque_Job_Status::STATUS_RUNNING = 2; (正在執行)
• Resque_Job_Status::STATUS_FAILED = 3; (失敗)
• Resque_Job_Status::STATUS_COMPLETE = 4; (結束)

因為沒有Worker執行，所以剛才建立的Job還是等待狀態。

執行Worker

這次我們直接編寫demo/resque.php：

<?php
date_default_timezone_set('GMT');
require 'job.php';
require '../bin/resque';

可以看到一個Worker至少需要兩部分：

1. 可以直接包含Job類檔案，也可以使用php的自動載入機制，指定好Job Class所在路徑並能實現自動載入
2. 包含Resque的預設Worker： bin/resque

在終端中執行：

QUEUE=default php demo/resque.php

前面的QUEUE部分是設定環境變數，我們指定當前的Worker只負責處理default佇列。也可以使用

QUEUE=* php demo/resque.php

來處理所有佇列。

執行後輸出為

#!/usr/bin/env php
*** Starting worker

用ps指令檢查一下：

ps aux | grep resque

可以看到有一個php的守護程序已經在運行了

1000      4607  0.0  0.1  74816 11612 pts/3    S+   14:52   0:00 php demo/resque.php

再使用之前的檢查Job指令

php demo/check_status.php b1f01038e5e833d24b46271a0e31f6d6

2分鐘後可以看到

Status of b1f01038e5e833d24b46271a0e31f6d6 is: 4

任務已經執行完畢，同時螢幕上應該可以看到輸出的Hello!

至此我們已經成功的完成了一個最簡單的Resque例項的全部演示，更復雜的情況以及遺留的問題會在下一次的日誌中說明。