2. 程式人生 > 實用技巧 >基於HTTP協議的輕量級簡單佇列服務-HTTPSQS

基於HTTP協議的輕量級簡單佇列服務-HTTPSQS

阿新 • • 發佈：2020-09-11

佇列（Queue）又稱先進先出表（First In First Out），即先進入佇列的元素，先從佇列中取出。加入元素的一頭叫“隊頭”，取出元素的一頭叫“隊尾”。利用訊息佇列可以很好地非同步處理資料傳送和儲存，當你頻繁地向資料庫中插入資料、頻繁地向搜尋引擎提交資料，就可採取訊息佇列來非同步插入。另外，還可以將較慢的處理邏輯、有併發數量限制的處理邏輯，通過訊息佇列放在後臺處理，例如FLV視訊轉換、傳送手機簡訊、傳送電子郵件等。

HTTPSQS具有以下特徵

  • 非常簡單，基於 HTTP GET/POST 協議。PHP、Java、Perl、Shell、Python、Ruby等支援HTTP協議的程式語言均可呼叫。
  • 非常快速，入佇列、出佇列速度超過10000次/秒。
  • 高併發，支援上萬的併發連線，C10K不成問題。
  • 支援多佇列。
  • 單個佇列支援的最大佇列數量高達10億條。
  • 低記憶體消耗，海量資料儲存，儲存幾十GB的資料只需不到100MB的實體記憶體緩衝區。
  • 可以在不停止服務的情況下便捷地修改單個佇列的最大佇列數量。
  • 可以實時檢視佇列狀態（入佇列位置、出佇列位置、未讀佇列數量、最大佇列數量）。
  • 可以檢視指定佇列ID（佇列點）的內容，包括未出、已出的佇列內容。
  • 檢視佇列內容時，支援多字符集編碼。
  • 原始碼不超過800行，適合二次開發。

HTTPQS1.7壓力測試：

採用Apache ab命令進行壓力測試，開啟10個執行緒，放入10萬條文字資料（每條512位元組）到佇列中:
　　使用HTTP Keep-Alive時：23018 requests/sec
　　關閉HTTP Keep-Alive時：11840 requests/sec

　　採用Apache ab命令進行壓力測試，開啟10個執行緒，從佇列中取出10萬條文字資料（每條512位元組）:
　　使用HTTP Keep-Alive時：25982 requests/sec
　　關閉HTTP Keep-Alive時：13294 requests/sec

　　詳細測試內容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest

　　生產環境應用：在金山遊戲官網中，新聞、論壇帖子、客服公告、SNS社群等發生的增、刪、改操作，文字內容實時寫入HTTPSQS佇列，全站搜尋引擎增量索引準實時（1分鐘內）更新的資料來源取自HTTPSQS。HTTPSQS 2009年12月18日上線至今，執行穩定，既有來自Web伺服器的入佇列操作，也有來自命令列指令碼的批量入、出佇列操作。

HTTPSQS編譯安裝

HTTPSQS軟體包等都是放在了https://code.google.com/archive/p/httpsqs/downloads下，一般情況下無法網站無法打卡，這裡提供百度網盤下載連結。

軟體包:百度網盤密碼:3uml

注意：HTTPSQS與所需要的依賴包具有強依賴性，必須是指定的版本，不要為了求新安裝最新的依賴包，否則在安裝httpsqs時會報錯

ulimit -SHn 65535

# 切換到資源包目錄
cd /usr/local/src
wget http://httpsqs.googlecode.com/files/libevent-2.0.12-stable.tar.gz
tar zxvf libevent-2.0.12-stable.tar.gz
cd libevent-2.0.12-stable/
./configure --prefix=/usr/local/libevent-2.0.12-stable/
make && make install
cd ../

wget http://httpsqs.googlecode.com/files/tokyocabinet-1.4.47.tar.gz
tar zxvf tokyocabinet-1.4.47.tar.gz
cd tokyocabinet-1.4.47/
./configure --prefix=/usr/local/tokyocabinet-1.4.47/
make && make install
cd ../

wget http://httpsqs.googlecode.com/files/httpsqs-1.7.tar.gz
tar zxvf httpsqs-1.7.tar.gz
cd httpsqs-1.7/
make && make install

HTTPSQS伺服器使用文件

httpsqs -h


-l <ip_addr> 監聽的IP地址，預設值為 0.0.0.0
-p <num> 監聽的TCP埠（預設值：1218）
-x <path> 資料庫目錄，目錄不存在會自動建立（例如：/opt/httpsqs/data）
-t <second> HTTP請求的超時時間（預設值：3）
-s <second> 同步記憶體緩衝區內容到磁碟的間隔秒數（預設值：5）
-c <num> 記憶體中快取的最大非葉子節點數（預設值：1024）
-m <size> 資料庫記憶體快取大小，單位：MB（預設值：100）
-i <file> 儲存程序PID到檔案中（預設值：/tmp/httpsqs.pid）
-a <auth> 訪問HTTPSQS的驗證密碼（例如：mypass123）
-d 以守護程序執行
-h 顯示這個幫助

示例：

ulimit -SHn 65535
httpsqs -d -p 1218 -x /data0/queue

請使用命令“killall httpsqs”、“pkill httpsqs”和“kill cat /tmp/httpsqs.pid”來停止httpsqs。

killall httpsqs
pkill httpsqs
kill `cat /tmp/httpsqs.pid`

注意：請不要使用命令“pkill -9 httpsqs”和“kill -9 httpsqs的程序ID”來結束httpsqs，否則，記憶體中尚未儲存到磁碟的資料將會丟失。

HTTPSQS客戶端使用文件

入佇列(將文字訊息放入佇列)：

HTTP GET協議(以curl命令為例)

curl "http://host:port/?name=your_queue_name&opt=put&data=經過URL編碼的文字訊息&auth=mypass123"

示例：

http://172.16.93.128:1218/?name=queue&opt=put&data=hello+world

如果如佇列成功，返回：

HTTPSQS_PUT_OK

如果如佇列失敗,返回:

HTTPSQS_PUT_ERROR

如果佇列已滿,返回:

HTTPSQS_PUT_END

從HTTPSQS 1.2版本開始，在返回給客戶端的HTTP Header頭中增加了一行“Pos: xxx”，輸出當前佇列的讀取位置點，例如：

HTTP POST協議(以curl命令為例)

curl -d "經過URL編碼的文字訊息" "http://host:port/?name=your_queue_name&opt=put&auth=mypass123"

出佇列(從佇列中取出文字訊息)

HTTP GET協議(以curl命令為例)

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=get&auth=mypass123"
curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=get&auth=mypass123"

以瀏覽器為例

返回訊息佇列的內容給客戶端。

如果沒有未取出的訊息佇列，則返回：

HTTPSQS_GET_END

從HTTPSQS 1.2版本開始，在返回給客戶端的HTTP Header頭中增加了一行“Pos: xxx”，輸出當前佇列的讀取位置點，例如：

引數charset說明（例如：/?charset=utf-8）：
　　指定HTTP輸出Header頭的字元編碼，即：
　　Content-Type: text/plain; charset=utf-8

　　任何在IANA註冊的字元編碼均可使用，但是，並不是所有的瀏覽器都能解析全部的字元編碼。對於中文，常用的字元編碼有：utf-8、gb2312、gbk、gb18030、big5等。

檢視佇列狀態(普通方式,便於瀏覽器檢視)

HTTP GET 協議（以curl命令為例）

curl "http://host:port/?name=your_queue_name&opt=status&auth=mypass123"

示例

如果“佇列寫入點值”大於“最大佇列數量值”，將重置“佇列寫入點”為1，即又從1開始儲存新的佇列內容，覆蓋原來佇列位置點的內容：

HTTP Simple Queue Service v1.7
------------------------------
Queue Name: queue
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517

檢視佇列狀態(JSON方式,便於程式處理返回內容)

從HTTPSQS 1.3版本開始支援此功能。

HTTP GET 協議（以curl命令為例）：

curl "http://host:port/?name=your_queue_name&opt=status_json&auth=mypass123"

返回（示例）：

{"name":"xoyo","maxqueue":1000000,"putpos":45,"putlap":1,"getpos":6,"getlap":1,"unread":39}

如果“佇列寫入點值”大於“最大佇列數量值”，將重置“佇列寫入點”為1，即又從1開始儲存新的佇列內容，覆蓋原來佇列位置點的內容：

{"name":"xoyo","maxqueue":1000000,"putpos":4562,"putlap":2,"getpos":900045,"getlap":1,"unread":104517}

檢視指定佇列位置點的內容

跟一般的佇列系統不同的是，HTTPSQS 可以檢視指定佇列ID（佇列點）的內容，包括未出、已出的佇列內容。可以方便地觀測進入佇列的內容是否正確。

另外，假設有一個傳送手機簡訊的佇列，由客戶端守護程序從佇列中取出資訊，並呼叫“簡訊閘道器介面”傳送簡訊。但是，如果某段時間“簡訊閘道器介面”有故障，而這段時間佇列位置點300~900的資訊已經出佇列，但是傳送簡訊失敗，我們還可以在位置點300~900被覆蓋前，檢視到這些位置點的內容，作相應的處理。

HTTP GET 協議（以curl命令為例）：

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5&auth=mypass123"

curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19&auth=mypass123"

pos >=1 並且 <= 1000000000

返回指定佇列位置點的內容。

重置指定佇列

HTTP GET 協議（以curl命令為例）：

curl "http://host:port/?name=your_queue_name&opt=reset&auth=mypass123"

如果重置成功，返回：

HTTPSQS_RESET_OK

如果重置失敗，返回：

HTTPSQS_RESET_ERROR

更改指定佇列的最大佇列數量

預設的最大佇列長度（100萬條）：1000000

HTTP GET 協議（以curl命令為例）

curl "http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000&auth=mypass123"

num >=10 並且 <= 1000000000

如果更改最大佇列數量成功，則返回：

HTTPSQS_MAXQUEUE_OK

更改的最大佇列數量必須大於當前的“佇列寫入點”。另外，當“佇列寫入點”小於“佇列讀取點”時（即PUT位於圓環的第二圈，而GET位於圓環的第一圈時），本操作將被取消，然後返回給客戶端以下資訊：

HTTPSQS_MAXQUEUE_CANCEL

不停止服務的情況下，修改定時重新整理記憶體緩衝區內容到磁碟的間隔時間

從HTTPSQS 1.3版本開始支援此功能。

預設間隔時間：5秒 或 httpsqs -s <second> 引數設定的值。

HTTP GET 協議（以curl命令為例）：

curl "http://host:port/?name=your_queue_name&opt=synctime&num=10&auth=mypass123"

num >=1 and <= 1000000000

如果修改間隔時間成功，則返回：

HTTPSQS_SYNCTIME_OK

如果 num 不在 1 ～ 1000000000 之間，本操作將被取消，然後返回給客戶端以下資訊：

HTTPSQS_SYNCTIME_CANCEL

密碼校驗失敗

從HTTPSQS 1.5版本開始支援此功能。

如果密碼校驗失敗（/?auth=xxx），將返回以下資訊：

HTTPSQS_AUTH_FAILED

全域性錯誤

如果發生全域性錯誤（即指令、引數錯誤等），將返回以下資訊：

HTTPSQS_ERROR

PHP客戶端說明文件

(1) PHP客戶端擴充套件(第三方提供，詳情請訪問：http://code.google.com/p/php-httpsqs-client/)

(2) PHP客戶端Class檔案(官方提供：適用於HTTPSQS1.7以上版本,推薦使用，原始碼包也在上面的百度網盤裡)

require_once 'httpsqs_client.php';
$httpsqs = new httpsqs($httpsqs_host, $httpsqs_port, $httpsqs_auth, $httpsqs_charset); 
 
/* 
1. 將文字資訊放入一個佇列（注意：如果要放入佇列的PHP變數是一個數組，需要事先使用序列化、json_encode等函式轉換成文字）
    如果入佇列成功，返回布林值：true 
    如果入佇列失敗，返回布林值：false 
*/ 
$result = $httpsqs->put($queue_name, $queue_data); 
 
/* 
2. 從一個佇列中取出文字資訊
    返回該佇列的內容
    如果沒有未被取出的佇列，則返回文字資訊：HTTPSQS_GET_END
    如果發生錯誤，返回布林值：false 
*/ 
$result = $httpsqs->get($queue_name); 

/* 
3. 從一個佇列中取出文字資訊和當前佇列讀取點Pos
    返回陣列示例：array("pos" => 7, "data" => "text message")
    如果沒有未被取出的佇列，則返回陣列：array("pos" => 0, "data" => "HTTPSQS_GET_END")
    如果發生錯誤，返回布林值：false
*/ 
$result = $httpsqs->gets($queue_name);

/* 
4. 檢視佇列狀態（普通方式）
*/ 
$result = $httpsqs->status($queue_name);

/* 
5. 檢視佇列狀態（JSON方式）
    返回示例：{"name":"queue_name","maxqueue":5000000,"putpos":130,"putlap":1,"getpos":120,"getlap":1,"unread":10}
*/ 
$result = $httpsqs->status_json($queue_name);
 
/* 
6. 檢視指定佇列位置點的內容
    返回指定佇列位置點的內容。
*/ 
$result = $httpsqs->view($queue_name, $queue_pos);
 
/* 
7. 重置指定佇列
    如果重置佇列成功，返回布林值：true 
    如果重置佇列失敗，返回布林值：false 
*/ 
$result = $httpsqs->reset($queue_name);
 
/* 
8. 更改指定佇列的最大佇列數量
   如果更改成功，返回布林值：true
   如果更改操作被取消，返回布林值：false
*/ 
$result = $httpsqs->maxqueue($queue_name, $num);

/*
9. 修改定時重新整理記憶體緩衝區內容到磁碟的間隔時間
   如果更改成功，返回布林值：true
   如果更改操作被取消，返回布林值：false
*/
$result = $httpsqs->synctime($num);

HTTPSQS生產環境典型應用案例架構

一個採用PHP編寫的HTTPSQS客戶端簡單守護程序框架如下：

環境，假設PHP安裝路徑為/usr/local/webserver/php，使用PHP編寫一個檔案/opt/httpsqs_client_daemon.php：

require_once dirname(__FILE__)."/httpsqs_client.php";     
$httpsqs = new httpsqs($host, $port, $auth, $charset);  
while(true) {  
  $result = $httpsqs->gets($name);  
  $pos = $result["pos"]; //當前佇列訊息的讀取位置點  
  $data = $result["data"]; //當前佇列訊息的內容  
  if ($data != "HTTPSQS_GET_END" && $data != "HTTPSQS_ERROR") {  
    ...去做應用操作...  
  } else {  
    sleep(1); //暫停1秒鐘後，再次迴圈  
  }  
}

在Linux下，推送到後臺執行即可：

nohup /usr/local/webserver/php/bin/php /opt/httpsqs_client_daemon.php 2>&1 > /dev/null &

相關推薦

基於HTTP協議的輕量級簡單佇列服務-HTTPSQS

佇列（Queue）又稱先進先出表（First In First Out），即先進入佇列的元素，先從佇列中取出。加入元素的一頭叫“隊頭”，取出元素的一頭叫“隊尾”。利用訊息佇列可以很好地非同步處理資料傳送和儲存，當你頻繁地向資

【轉載】基於HTTP協議之WEB訊息實時推送技術原理及實現

>>> 基於HTTP協議之WEB訊息實時推送技術原理及實現技術 maybe yes 發表於2014-11-22 18:41

C# .net基於Http實現web server(web服務)

什麼是 web server? 百度百科是這麼解釋的： Web Server中文名稱叫網頁伺服器或web伺服器。WEB伺服器也稱為WWW(WORLD WIDE WEB)伺服器，主要功能是提供網上資訊瀏覽服務。

延時佇列 基於Redis實現延時佇列服務

基於Redis實現延時佇列服務 背景 在業務發展過程中，會出現一些需要延時處理的場景，比如：

基於golang的簡單分散式延時佇列服務的實現

一、引言 背景 我們在做系統時，很多時候是處理實時的任務，請求來了馬上就處理，然後立刻給使用者以反饋。但有時也會遇到非實時的任務，比如確定的時間點發布重要公告。或者需要在使用者做了一件事情的X分鐘/Y小時

RESTful服務,Restful 是典型的基於HTTP的協議(2)

繼續撈乾的 二、名稱 REST，即Representational State Transfer的縮寫。我對這個片語的翻譯是\"表現層狀態轉化\"。

【HTTP圖解】2-簡單的HTTP協議

目錄HTTP協議用於客戶端和伺服器端之間的通訊通過請求和響應的交換達成通訊HTTP是不儲存狀態的協議請求URI定位資源告知伺服器意圖的http方法GET：獲取資源POST：傳輸實體主體PUT：傳輸檔案HEAD：獲得報文首部DELETE：

HTTP協議與TCP協議簡單理解

Http協議與TCP協議簡單理解 TCP協議對應於傳輸層，而HTTP協議對應於應用層， 從本質上來說，二者沒有可比性。

基於nodejs做一個簡單的http/web伺服器

基於nodejs做一個簡單的http/web伺服器 nodejs是什麼 簡單的說 Node.js 就是執行在服務端的 JavaScript。Node.js 是一個基於Chrome JavaScript 執行時建立的一個平臺。

詳解HTTP協議與服務

************************************************** 一、Http協議簡介 二、Http協議特點 三、Http版本介紹

基於TCP協議的簡易FTP雲盤（服務端）

技術標籤：FTP雲盤網路socketlinux #include <stdio.h> #include <sys/types.h> #include <sys/socket.h>

Java下載遠端伺服器檔案到本地（基於http協議和ssh2協議）

　　Java中java.io包為我們提供了輸入流和輸出流，對檔案的讀寫基本上都依賴於這些封裝好的關於流的類中來實現。前段時間遇到了以下兩種需求：

ABAP呼叫阿里雲介面-簡訊服務-HTTP協議及簽名（abap版本）

技術標籤：介面SAPsapabap 阿里雲介面文件請參考官網地址 https://help.aliyun.com/document_detail/56189.html?spm=a2c4g.11186623.6.669.65fe7e6aztgHDF

http協議：四 (7)http的代理服務

負載均衡 健康檢查：使用“心跳”等機制監控後端伺服器，發現有故障就及時“踢出”叢集，保證服務高可用；

Internet1 http協議簡單介紹

1)http協議的三個版本概述 2)http協議安全問題的解決 3)http2.0與http3.0的簡單介紹

基於Pytest + Yaml + Allure 實現Http協議介面自動化

背景 　　公司原本有自己的自動化測試框架，涵蓋了四個專案，採用excel儲存用例，每個專案用的單元測試框架還不一樣，介面和UI都寫在了一起~~~

CentOS7 基於http服務搭建本地yum倉庫

由於公司內網伺服器無法訪問外網，安裝軟體相對比較麻煩，所以可以選擇一臺主機搭建本地yum倉庫。本文選擇使用http服務搭建。實驗環境：CentOS 7

手把手教你用 Node 實現 HTTP 協議（三）

手把手教你用 Node 實現 HTTP 協議（三） 上一章介紹瞭如何解析 HTTP 請求報文，這一章我們來講解如何進行報文的收發和 TCP 連線的建立。

Zinx --基於Golang的輕量級併發伺服器框架

Zinx 是一個基於Golang的輕量級併發伺服器框架 說明:目前zinx已經在很多企業進行開發使用，具體使用領域包括:後端模組的訊息中轉、長連結遊戲伺服器、Web框架中的訊息處理外掛等。zinx的定位是程式碼簡潔，讓更多的

Dubbo原始碼解析（二十六）遠端呼叫——http協議

遠端呼叫——http協議 目標：介紹遠端呼叫中跟http協議相關的設計和實現，介紹dubbo-rpc-http的原始碼。