beanstalkd訊息佇列

Beanstalkd 是一個高效能的訊息佇列中介軟體，本博文宅鳥將介紹一下這個東東的使用。

一、先通過概念讓大家瞭解Beanstalkd的特性和工作場景。

        Beanstalkd 是一個輕量級訊息中介軟體，它最大特點是將自己定位為基於管道  (tube) 和任務 (job) 的工作佇列 (work-queue)：

Beanstalkd 支援任務優先順序 (priority), 延時 (delay), 超時重發 (time-to-run) 和預留 (buried), 能夠很好的支援分散式的後臺任務和定時任務處理。

它的內部實現採用 libevent, 伺服器-客戶端之間用類似 memcached 的輕量級通訊協議，具有有很高的效能。

儘管是記憶體佇列, beanstalkd 提供了 binlog 機制, 當重啟 beanstalkd 時，當前任務狀態能夠從紀錄的本地 binlog 中恢復。

管道 (tube):

       管道類似於訊息主題 (topic), 在一個 Beanstalkd 中可以支援多個管道, 每個管道都有自己的釋出者 (producer) 和消費者 (consumer). 管道之間互相不影響。

任務 (job):

       Beanstalkd 用任務 (job) 代替訊息 (message) 的概念。與訊息不同，任務有一系列狀態：

READY- 需要立即處理的任務，當延時 (DELAYED) 任務到期後會自動成為當前任務；

DELAYED- 延遲執行的任務, 當消費者處理任務後, 可以用將訊息再次放回 DELAYED 佇列延遲執行；

RESERVED- 已經被消費者獲取, 正在執行的任務。Beanstalkd 負責檢查任務是否在 TTR(time-to-run) 內完成；

BURIED- 保留的任務: 任務不會被執行，也不會消失，除非有人把它 "踢" 回佇列；

DELETED- 訊息被徹底刪除。Beanstalkd 不再維持這些訊息。

任務優先順序 (priority):

       任務 (job) 可以有 0~2^32 個優先順序, 0 代表最高優先順序。 beanstalkd 採用最大最小堆 (Min-max heap) 處理任務優先順序排序, 任何時刻呼叫 reserve 命令的消費者總是能拿到當前優先順序最高的任務, 時間複雜度為 O(logn).

延時任務 (delay):

       有兩種方式可以延時執行任務 (job): 生產者釋出任務時指定延時；或者當任務處理完畢後, 消費者再次將任務放入佇列延時執行 (RELEASE with <delay>)。這種機制可以實現分散式的 java.util.Timer，這種分散式定時任務的優勢是：如果某個消費者節點故障，任務超時重發 (time-to-run) 能夠保證任務轉移到另外的節點執行。

任務超時重發 (time-to-run):

       Beanstalkd 把任務返回給消費者以後：消費者必須在預設的 TTR (time-to-run) 時間內傳送 delete / release/ bury 改變任務狀態；否則 Beanstalkd 會認為訊息處理失敗，然後把任務交給另外的消費者節點執行。如果消費者預計在 TTR (time-to-run) 時間內無法完成任務, 也可以傳送 touch 命令, 它的作用是讓 Beanstalkd從系統時間重新計算 TTR (time-to-run).

任務預留 (buried):

       如果任務因為某些原因無法執行, 消費者可以把任務置為 buried 狀態讓 Beanstalkd 保留這些任務。管理員可以通過 peek buried 命令查詢被保留的任務，並且進行人工干預。簡單的, kick <n> 能夠一次性把 n 條被保留的任務踢回佇列。

Beanstalkd 協議:

       Beanstalkd 採用類 memcached 協議, 客戶端通過文字命令與伺服器互動。這些命令可以簡單的分成三組:    

       生產類 - use <tube> / put <priority> <delay> <ttr> [bytes]:  

       生產者用 use 選擇一個管道 (tube), 然後用 put 命令向管道釋出任務 (job).    

       消費類 - watch <tubes> / reserve / delete <id> / release <id> <priority> <delay> / bury <id> / touch <id>

       消費者用 watch 選擇多個管道 (tube), 然後用 reserve 命令獲取待執行的任務，這個命令是阻塞的。客戶端直到有任務可執行才返回。當任務處理完畢後, 消費者可以徹底刪除任務 (DELETE), 釋放任務讓別人處理 (RELEASE), 或者保留 (BURY) 任務。

       維護類 - peek job / peek delayed / peek ready / peek buried / kick <n>

用於維護管道內的任務狀態, 在不改變任務狀態的條件下獲取任務。可以用消費類命令改變這些任務的狀態。

被保留 (buried) 的任務可以用 kick 命令 "踢" 回佇列。

Beanstalkd 不足:

Beanstalkd 沒有提供主備同步 + 故障切換機制, 在應用中有成為單點的風險。實際應用中，可以用資料庫為任務 (job) 提供持久化儲存。

另外, 和 memcached 類似, Beanstalkd 依賴 libevent 的單執行緒事件分發機制, 不能有效利用多核 cpu 的效能。這一點可以通過單機部署多個例項克服。

二、部署安裝:

Beanstalkd 的安裝非常簡單:

在Ubuntu下使用下面命令:

sudo apt-get install beanstalkd

安裝後編輯配置檔案:

vim /etc/default/beanstalkd

把START=NO改為:START=yes即可

更多關於安裝可以參考官網

通過命令可以啟動、停止Beanstalk

/etc/init.d/beanstalkd start
lsof -i:11300
/etc/init.d/beanstalkd stop

啟動後，就可以通過客戶端進行呼叫了：

Beanstalk支援多種客戶端語言:

php,java,perl,c,c++,lua,python,go,ruby等等(瞭解更多可以來官網)。