2. 程式人生 > >開源HTTP解析器---http-parser和fast-http

開源HTTP解析器---http-parser和fast-http

阿新 • • 發佈：2018-11-29

轉載地址:https://www.cnblogs.com/arnoldlu/p/6497837.html

由於專案中遇到需要傳送http請求，然後再解析接收到的響應。大概在網上搜索了一下，有兩個比較不錯，分別是http-parser和fast-http。

http-parser是由C編寫的工具；fast-http是大部分移植自http-parser，用lisp語言編寫的，不太適合目前的專案。fast-http介紹文件《fast-http》。

有一篇文章《HTTP 協議解析庫：fast-http》介紹了fast-http，並且和http-parser進行了簡單比較，結論是fast-http更快，快一倍。

另一個關於HTTP請求的簡單介紹《為你詳細解讀HTTP請求頭的具體含意》，可以作為背景知識簡要閱讀。

關於http-parser有一篇不錯的實戰文件《【slighttpd】基於lighttpd架構的Server專案實戰(7)—http-parser》。

HTTP請求和響應格式

關於HTTP請求和響應的科普文件：《HTTP請求和響應格式》、《HTTP請求格式和http響應格式》、《#HTTP協議學習# （一）request 和response 解析》、《HTTP協議詳解》。

Request格式

先看看請求纖細的結構，request訊息分為3部分：Request line、Request header、Body。Request header和Body之間有個空行：

第一行中的Method表示請求方法,比如"POST","GET",  Path-to-resoure表示請求的資源， Http/version-number 表示HTTP協議的版本號。

當使用的是"GET" 方法的時候， body是為空的。

Request line

請求的第一行是“方法 URL 議 / 版本”： GET/sample.jsp HTTP/1.1
以上程式碼中“ GET ”代表請求方法，“ /sample.jsp ”表示 URI ，“ HTTP/1.1 代表協議和協議的版本。
根據 HTTP 標準， HTTP 請求可以使用多種請求方法。例如： HTTP1.1 目前支援 7 種請求方法： GET 、 POST 、 HEAD、 OPTIONS 、 PUT 、 DELETE 和 TARCE 。

GET 請求獲取由Request-URI所標識的資源。
POST 在Request-URI所標識的資源後附加新的資料。
HEAD 請求獲取由Request-URI所標識的資源的響應訊息報頭。
OPTIONS 請求查詢伺服器的效能，或查詢與資源相關的選項和需求。
PUT 請求伺服器儲存一個資源，並用Request-URI作為其標識。
DELETE 請求伺服器刪除由Request-URI所標識的資源。
TRACE 請求伺服器回送收到的請求資訊，主要用語測試或診斷。

 

在Internet應用中，最常用的方法是GET和POST。

URI完整地指定了要訪問的網路資源，通常只要給出相對於伺服器的根目錄的相對目錄即可，因此總是以“/”開頭，最後，協議版本聲明瞭通訊過程中使用HTTP的版本。

Request header

請求頭包含許多有關的客戶端環境和請求正文的有用資訊。例如，請求頭可以宣告瀏覽器所用的語言，請求正文的長度等。
Accept:image/gif.image/jpeg.*/*
Accept-Language:zh-cn
Connection:Keep-Alive
Host:localhost
User-Agent:Mozila/4.0(compatible:MSIE5.01:Windows NT5.0)
Accept-Encoding:gzip,deflate.

Request body

請求頭和請求正文之間是一個空行，這個行非常重要，它表示請求頭已經結束，接下來的是請求正文。請求正文中可以包含客戶提交的查詢字串資訊：
username=jinqiao&password=1234
在以上的例子的HTTP請求中，請求的正文只有一行內容。當然，在實際應用中，HTTP請求正文可以包含更多的內容。

HTTP請求方法我這裡只討論GET方法與POST方法
l   GET方法
GET方法是預設的HTTP請求方法，我們日常用GET方法來提交表單資料，然而用GET方法提交的表單資料只經過了簡單的編碼，同時它將作為URL的一部分向Web伺服器傳送，因此，如果使用GET方法來提交表單資料就存在著安全隱患上。例如:Http://127.0.0.1/login.jsp?Name=zhangshi&Age=30&Submit=%cc%E+%BD%BB
從上面的URL請求中，很容易就可以辯認出表單提交的內容。（？之後的內容）另外由於GET方法提交的資料是作為URL請求的一部分所以提交的資料量不能太大
l  POST方法
POST方法是GET方法的一個替代方法，它主要是向Web伺服器提交表單資料，尤其是大批量的資料。POST方法克服了GET方法的一些缺點。通過POST方法提交表單資料時，資料不是作為URL請求的一部分而是作為標準資料傳送給Web伺服器，這就克服了GET方法中的資訊無法保密和資料量太小的缺點。因此，出於安全的考慮以及對使用者隱私的尊重，通常表單提交時採用POST方法。
　　從程式設計的角度來講，如果使用者通過GET方法提交資料，則資料存放在QUERY＿STRING環境變數中，而POST方法提交的資料則可以從標準輸入流中獲取。

Response格式

Response訊息的結構和Request結構基本一樣。同樣也為三部分：Response Line、Response header、Body。Response header和Body之間也有個空行：

Response line

HTTP/version-number表示HTTP協議的版本號，status-code和message請看下面詳細解釋。

Response 訊息中的第一行叫做狀態行，由HTTP協議版本號， 狀態碼， 狀態訊息 三部分組成。

狀態行由協議版本、數字形式的狀態程式碼、及相應的狀態描述，各元素之間以空格分隔。

狀態碼用來告訴HTTP客戶端,HTTP伺服器是否產生了預期的Response.

HTTP/1.1中定義了5類狀態碼， 狀態碼由三位數字組成，第一個數字定義了響應的類別

1XX  提示資訊 - 表示請求已被成功接收，繼續處理

2XX  成功 - 表示請求已被成功接收，理解，接受

3XX  重定向 - 要完成請求必須進行更進一步的處理

4XX  客戶端錯誤 -  請求有語法錯誤或請求無法實現

5XX  伺服器端錯誤 -   伺服器未能實現合法的請求

200 OK：最常見的就是成功響應狀態碼200了， 這表明該請求被成功地完成，所請求的資源傳送回客戶端。

302 Found：重定向，新的URL會在response 中的Location中返回，瀏覽器將會自動使用新的URL發出新的Request。

304 Not Modified：代表上次的文件已經被快取了， 還可以繼續使用。

400 Bad Request：  客戶端請求與語法錯誤，不能被伺服器所理解。

401         Unauthonzed   請求未經授權。這個狀態程式碼必須和WWW-Authenticate報頭域一起使用

403 Forbidden： 伺服器收到請求，但是拒絕提供服務。伺服器通常會在響應正文中給出不提供服務的原因。

404 Not Found：請求的資源不存在，例如，輸入了錯誤的URL。

500 Internal Server Error： 伺服器發生不可預期的錯誤，導致無法完成客戶端的請求。

503 Server Unavailable： 伺服器當前不能夠處理客戶端的請求，在一段時間之後，伺服器可能會恢復正常。

Response header

Location：Location響應報頭域用於重定向接受者到一個新的位置。例如：客戶端所請求的頁面已不存在原先的位置，為了讓客戶端重定向到這個頁面新的位置，伺服器端可以發回Location響應報頭後使用重定向語句，讓客戶端去訪問新的域名所對應的伺服器上的資源。當我們在JSP中使用重定向語句的時候，伺服器端向客戶端發回的響應報頭中，就會有Location響應報頭域。

Server：Server響應報頭域包含了伺服器用來處理請求的軟體資訊。它和User-Agent請求報頭域是相對應的，前者傳送伺服器端軟體的資訊，後者傳送客戶端軟體(瀏覽器)和作業系統的資訊。下面是Server響應報頭域的一個例子：Server: Apache-Coyote/1.1


WWW-Authenticate：WWW-Authenticate響應報頭域必須被包含在401(未授權的)響應訊息中，這個報頭域和前面講到的Authorization請求報頭域是相關的，當客戶端收到401響應訊息，就要決定是否請求伺服器對其進行驗證。如果要求伺服器對其進行驗證，就可以傳送一個包含了 Authorization報頭域的請求，下面是WWW-Authenticate響應報頭域的一個例子：WWW-Authenticate: Basic realm="Basic Auth Test!"從這個響應報頭域，可以知道伺服器端對我們所請求的資源採用的是基本驗證機制。


Content-Encoding：Content-Encoding實體報頭域被使用作媒體型別的修飾符，它的值指示了已經被應用到實體正文的附加內容編碼，因而要獲得Content- Type報頭域中所引用的媒體型別，必須採用相應的解碼機制。Content-Encoding主要用語記錄文件的壓縮方法，下面是它的一個例子： Content-Encoding: gzip。如果一個實體正文采用了編碼方式儲存，在使用之前就必須進行解碼。


Content-Language：Content-Language實體報頭域描述了資源所用的自然語言。Content-Language允許使用者遵照自身的首選語言來識別和區分實體。如果這個實體內容僅僅打算提供給丹麥的閱讀者，那麼可以按照如下的方式設定這個實體報頭域：Content-Language: da。如果沒有指定Content-Language報頭域，那麼實體內容將提供給所以語言的閱讀者。


Content-Length：  Content-Length實體報頭域用於指明正文的長度，以位元組方式儲存的十進位制數字來表示，也就是一個數字字元佔一個位元組，用其對應的ASCII碼儲存傳輸。
要注意的是：這個長度僅僅是表示實體正文的長度，沒有包括實體報頭的長度。


Content-Type實體報頭域用語指明發送給接收者的實體正文的媒體型別。例如：Content-Type: text/html;charset=ISO-8859-1

PS：這裡主要關注Content-Length和Content-Type兩種型別，用於提取Body實體。


Last-Modified實體報頭域用於指示資源最後的修改日期及時間。


Expires實體報頭域給出響應過期的日期和時間。通常，代理伺服器或瀏覽器會快取一些頁面。當用戶再次訪問這些頁面時，直接從快取中載入並顯示給使用者，這樣縮短了響應的時間，減少伺服器的負載。為了讓代理伺服器或瀏覽器在一段時間後更新頁面，我們可以使用Expires實體報頭域指定頁面過期的時間。當用戶又一次訪問頁面時，如果Expires報頭域給出的日期和時間比Date普通報頭域給出的日期和時間要早(或相同)，那麼代理伺服器或瀏覽器就不會再使用快取的頁面而是從伺服器上請求更新的頁面。不過要注意，即使頁面過期了，也並不意味著伺服器上的原始資源在此時間之前或之後發生了改變。

http-parser

下載程式碼：

git clone https://github.com/arnoldlu/http-parser.git

編譯

 

編譯安裝

make
make parsertrace
make url_parser
sudo make install  （會將lib安裝到/usr/lib/libhttp_parser.so.2.7.1和/usr/lib/libhttp_parser.so，在使用的時候編譯中增加-lhttp_parser）

 

一個例項測試

make http_parser.o
gcc -Wall -Wextra -Werror -Wno-error=unused-but-set-variable -O3 http_parser.o demo.c -o demo
./demo

程式碼如下：

#include "http_parser.h"
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <assert.h>
#include <time.h>

static http_parser *parser;

int on_message_begin(http_parser* _) {
  (void)_;
  printf("\n***MESSAGE BEGIN***\n\n");
  return 0;
}

int on_headers_complete(http_parser* _) {
  (void)_;
  printf("\n***HEADERS COMPLETE***\n\n");
  return 0;
}

int on_message_complete(http_parser* _) {
  (void)_;
  printf("\n***MESSAGE COMPLETE***\n\n");
  return 0;
}

int on_url(http_parser* _, const char* at, size_t length) {
  (void)_;
  printf("Url: %.*s\n", (int)length, at);
  return 0;
}

int on_header_field(http_parser* _, const char* at, size_t length) {
  (void)_;
  printf("Header field: %.*s\n", (int)length, at);
  return 0;
}

int on_header_value(http_parser* _, const char* at, size_t length) {
  (void)_;
  printf("Header value: %.*s\n", (int)length, at);
  return 0;
}

int on_body(http_parser* _, const char* at, size_t length) {
  (void)_;
  printf("Body: %.*s\n", (int)length, at);
  return 0;
}

static http_parser_settings settings_null =  http_parser的回撥函式，需要獲取HEADER後者BODY資訊，可以在這裡面處理。
  {.on_message_begin = on_message_begin
  ,.on_header_field = on_header_field
  ,.on_header_value = on_header_value
  ,.on_url = on_url
  ,.on_status = 0
  ,.on_body = on_body
  ,.on_headers_complete = on_headers_complete
  ,.on_message_complete = on_message_complete
  };

int
main (void)
{
  const char *buf;
  int i;
  float start, end;
  size_t parsed;

  parser = malloc(sizeof(http_parser));  分配一個http_parser

  buf = "GET http://admin.omsg.cn/uploadpic/2016121034000012.png HTTP/1.1\r\nHost: admin.omsg.cn\r\nAccept: */*\r\nConnection: Keep-Alive\r\n\r\n";

  start = (float)clock()/CLOCKS_PER_SEC;
  for (i = 0; i < 1; i++) {
    http_parser_init(parser, HTTP_REQUEST);  初始化parser為Request型別
    parsed = http_parser_execute(parser, &settings_null, buf, strlen(buf));  執行解析過程
  }
  end = (float)clock()/CLOCKS_PER_SEC;


  buf="HTTP/1.1 200 OK\r\n"
         "Date: Tue, 04 Aug 2009 07:59:32 GMT\r\n"
         "Server: Apache\r\n"
         "X-Powered-By: Servlet/2.5 JSP/2.1\r\n"
         "Content-Type: text/xml; charset=utf-8\r\n"
         "Connection: close\r\n"
         "\r\n"
         "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n"
         "<SOAP-ENV:Envelope xmlns:SOAP-ENV=\"http://schemas.xmlsoap.org/soap/envelope/\">\n"
         "  <SOAP-ENV:Body>\n"
         "    <SOAP-ENV:Fault>\n"
         "       <faultcode>SOAP-ENV:Client</faultcode>\n"
         "       <faultstring>Client Error</faultstring>\n"
         "    </SOAP-ENV:Fault>\n"
         "  </SOAP-ENV:Body>\n"
         "</SOAP-ENV:Envelope>";

  http_parser_init(parser, HTTP_RESPONSE);  初始化parser為Response型別
  parsed = http_parser_execute(parser, &settings_null, buf, strlen(buf));  執行解析過程

  free(parser);
  parser = NULL;

  printf("Elapsed %f seconds.\n", (end - start));

  return 0;
}

結果如下：

***MESSAGE BEGIN***

Url: http://admin.omsg.cn/uploadpic/2016121034000012.png
Header field: Host
Header value: admin.omsg.cn
Header field: Accept
Header value: */*
Header field: Connection
Header value: Keep-Alive

***HEADERS COMPLETE***


***MESSAGE COMPLETE***


***MESSAGE BEGIN***

Header field: Date
Header value: Tue, 04 Aug 2009 07:59:32 GMT
Header field: Server
Header value: Apache
Header field: X-Powered-By
Header value: Servlet/2.5 JSP/2.1
Header field: Content-Type
Found Content-Type
Header value: text/xml; charset=utf-8
http_png.type = text/xml; charset=utf-8
Header field: Connection
Header value: close

***HEADERS COMPLETE***

Elapsed 0.000091 seconds.

相關推薦

開源HTTP解析器---http-parser和fast-http

轉載地址:https://www.cnblogs.com/arnoldlu/p/6497837.html 由於專案中遇到需要傳送http請求，然後再解析接收到的響應。大概在網上搜索了一下，有兩個比較不錯，分別是http-parser和fast-http。 http-parser是由C編寫的工

springMVC檢視解析器的配置和使用

在spring-servlet.xml中配置檢視解析器 <!-- 配置檢視解析器 -->    <bean class="org.springframework.web.servlet.view.InternalResourceViewResolver"

【swupdate文件 四】SWUpdate:使用預設解析器的語法和標記

SWUpdate:使用預設解析器的語法和標記 介紹 SWUpdate使用庫“libconfig”作為映象描述的預設解析器。 但是，可以擴充套件SWUpdate並新增一個自己的解析器， 以支援不同於libconfig的語法和語言。 在examples目錄中，有一個用Lua編寫的，支援解析XML形式 描述檔案

開源Json解析器的淺述

之前在做專案中，Json 這種資料轉換格式經常用，為什麼呢？我認為是 1、它的易用性，跨平臺性，它是JS(JavaScript)的子集，是一種物件字面量。 2、它與XML都是樹結構的語法樹； 同樣的XML,JSON表示，Json則相對簡潔，XML相對冗餘，

瀏覽器工作原理（四）：HTML解析器 HTML Parser

HTML解析器的工作是將html標識解析為解析樹。 HTML文法定義（The HTML grammar definition） W3C組織制定規範定義了HTML的詞彙表和語法。 非上下文無關文法（Not a context free grammar） 正如在解析簡介中提

drf 解析器的配置和使用

from div clas 增加 classes 能力 全局 配置 解析器 全局配置在settings文件中設定 drf 解析器 功能是解析從前端發來的各種請求，比如說是json格式，from-data格式，x-www-form-urlencode格式，

Golang裏實現Http服務器並解析header參數和表單參數

打印 表單 class per lang accept png Go語言 title 在http服務裏，header參數和表單參數是經常使用到的，本文主要是練習在Go語言裏，如何解析Http請求的header裏的參數和表單參數，具體代碼如下： package server

ftp服務器和http服務器的簡單安裝測試

install sss blog rep onf ftp services 工作目錄 默認 0.【 安裝前的準備工作：】 1）chkconfig iptables off或service iptables stop 禁防火墻（centos6） syste

tmcat和appach http 服務器分別是用什麽語言編寫的

開源 found c語言 pan 編寫 開發 spa 之前 3.6 在回答這個問題之前，首先要了解apache tomcat到底由什麽組成。apache tomcat=Apache http server + TomcatApache http server是Apache

從零開始一個http服務器-請求request解析（二)

tor pen ica nice 測試 nec 代碼 acc print 從零開始一個http服務器 （二) 代碼地址 ： https://github.com/flamedancer/cserver git checkout step2 解析http request 觀

HTTP解析庫http-parser簡介及使用

http-parser是一個用C編寫的HTTP訊息解析器，可以解析請求和響應，被設計用於高效能HTTP應用程式。它不會進行任何系統呼叫及記憶體分配，它不會緩衝資料，它可以被隨時中斷。根據你的體系結構，每個訊息流只需要大約40個位元組的資料(在每個連線的web伺服器中。它的原始碼在https://

HTTP的請求報文解析 與 響應報文解析 、 HTTP請求報文中 GET 和 POST的區別 和 URL解析

一、什麼是HTTP？ HTTP是超文字傳輸協議 二、HTTP特點？ （1）HTTP是無狀態協議； （2）HTTP是web服務使用的協議； （3）HTTP是基於TCP協議的； （4）HTTP的通訊方式是客戶端-伺服器模式，即C/S

如何用Wireshark lua編寫的協議解析器，檢視HTTP包的URI/URL的Query String裡的引數

Wireshark解析HTTP GET方法不會解析URI裡Query字串裡的引數（通常由GET方式提交form資料），本文介紹用lua編寫一個簡單的協議解析器，讓這些引數解析出來，並顯示在wireshark協議解析窗口裡。 首先編寫以下解析器lua指令碼（用文字編輯

html.parser - 簡單的HTML和XHTML 解析器

 該模組定義了一個名為 HTMLParser的類，用於解析html和xhml格式的文字檔案 class html.parser.HTMLParser(*,convert_charrefs=True) 建立一個解析器例項來解析無用的標記 convert_charrefs （該引數預設是True

HTTP中的請求頭和響應頭屬性解析

一次網路請求過程如下圖所示(GET)： 注意：GET請求無請求體。 一次AJAX網路請求過程如下圖所示(POST)： 注意：POST請求有請求體，故與GET請求相比，請求頭中多了Content-Length和Content-Type屬性。

HTTP服務器

分布 大寫 端口占用 端口號 images 聯網 roo 刷新 allow 服務器 服務器是什麽: 通俗的講，能夠提供某種服務的機器（計算機）稱為服務器 服務器類型： 1、 按服務類型可分為：文件服務器、數據庫服務器、郵件服務器、Web服務器等 2、 按操作系

http-server:一個簡單的零配置命令行的http服務器

.gz 例如 選項 輸出 csharp ava 開發 日誌 art 首先簡介一下http-server： http-server是一個簡單的零配置命令行http服務器,他對於生產使用來說足夠強大，他是簡單和可刪節足以用於測試，足夠簡單易用，而且可用於本地開發 1、首先

Http服務器實現文件上傳與下載(五)

aaa con 選擇 gethost cte 分隔 數據 gif 開始 一、引言 歡迎大家和我一起編寫Http服務器實現文件的上傳和下載，現在我回顧一下在上一章節中提到的一些內容，之前我已經提到過文件的下載，在文件的下載中也提到了文件的續下載只需要在響應頭中填寫C

Http服務器實現文件上傳與下載(四)

讀取 版本 html 出現問題 type 函數名 range 讀取文件 都是 一、引言 　　歡迎大家來到和我一起編寫Http服務器實現文件的上傳和下載，現在我稍微回顧一下之前我說的，第一、二章說明說明了整體的HTTP走向，第三章實現底層的網絡編程。接著這一章我想給大家講的是

Http服務器實現文件上傳與下載(一)

80端口 window har name content cti 封裝 商業 利用 一、引言 　　大家都知道web編程的協議就是http協議，稱為超文本傳輸協議。在J2EE中我們可以很快的實現一個Web工程，但在C++中就不是非常的迅速，原因無非就是底層的socket網絡編