技術標籤：Python3HTTP協議

最近寫s2_061 Python指令碼得時候遇到了POST 提交

'Content-Type': multipart/form-data

這個問題，然後查閱資料開始解決。

一、首先說一下POST 提交資料方式常用的四種方式

HTTP/1.1 協議規定的 HTTP 請求方法有 OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE、CONNECT 這幾種。其中 POST 一般用來向服務端提交資料，本文主要討論 POST 提交資料的幾種方式。

HTTP 協議是以 ASCII 碼傳輸，建立在 TCP/IP 協議之上的應用層規範。規範把 HTTP 請求分為三個部分：

<method> <request-URL> <version>
<headers>

<entity-body>

狀態行請求行、
請求頭、
訊息主體。
類似於下面這樣：

POST /admin/login.php HTTP/1.1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36
Host:xxx.xxx.xxx
Content-Length: 3514
 

Content-Type: application/x-www-form-urlencoded
username=username&password=password

協議規定 POST 提交的資料必須放在訊息主體（entity-body）中，但協議並沒有規定資料必須使用什麼編碼方式。所以開發完全可以自己決定訊息主體的格式，只要最後傳送的 HTTP 請求滿足上面的格式就可以。

但是，資料傳送出去，還要服務端解析成功才有意義。一般服務端語言如 php、java、python 等，以及它們的 framework，都內建了自動解析常見資料格式的功能。服務端通常是根據請求頭（headers）中的 Content-Type 欄位來獲知請求中的訊息主體是用何種方式編碼，再對主體進行解析。所以POST 提交資料方案，包含了 Content-Type 和訊息主體編碼方式兩部分。

1、application/x-www-form-urlencoded

這是最常見的 POST 提交資料的方式了。瀏覽器的原生 表單，如果不設定 enctype 屬性，那麼最終就會以 application/x-www-form-urlencoded 方式提交資料。請求類似於下面這樣（無關的請求頭在本文中都省略掉了）：

POST http://www.xxx.com HTTP/1.1
Content-Type: application/x-www-form-urlencoded;charset=utf-8

name=1&password=2

首先，Content-Type 被指定為 application/x-www-form-urlencoded；其次，提交的資料按照 key1=val1&key2=val2 的方式進行編碼，key 和 val 都進行了 URL 轉碼。大部分服務端語言都對這種方式有很好的支援。例如 PHP 中，POST[′title′]可以獲取到title的值，_POST[‘sub’] 可以得到 sub 陣列。

而我們通過python request 請求的時候
直接

data=['name':'1','passwprd':'2']
re=resquests.post(url=url,data=data,headers=headers)

2、multipart/form-data

這又是一個常見的 POST 資料提交的方式。我們使用表單上傳檔案時，必須讓 表單的 enctype 等於 multipart/form-data。直接來看一個請求示例：

POST http://www.xxx.com HTTP/1.1
Content-Type:multipart/form-data; boundary=----WebKitFormBoundaryrGKCBY7qhFd3TrwA

------WebKitFormBoundaryrGKCBY7qhFd3TrwA
Content-Disposition: form-data; name="text"

title
------WebKitFormBoundaryrGKCBY7qhFd3TrwA
Content-Disposition: form-data; name="file"; filename="chrome.png"
Content-Type: image/png

PNG ... content of chrome.png ...
------WebKitFormBoundaryrGKCBY7qhFd3TrwA--

首先生成了一個 boundary 用於分割不同的欄位，為了避免與正文內容重複，boundary 很長很複雜。然後 Content-Type 裡指明瞭資料是以 multipart/form-data 來編碼，本次請求的 boundary 是什麼內容。訊息主體裡按照欄位個數又分為多個結構類似的部分，每部分都是以 --boundary 開始，緊接著是內容描述資訊，然後是回車，最後是欄位具體內容（文字或二進位制）。如果傳輸的是檔案，還要包含檔名和檔案型別資訊。訊息主體最後以 --boundary-- 標示結束。

這種方式一般用來上傳檔案，各大服務端語言對它也有著良好的支援。

這也是今天遇到的問題
這裡可以使用encode_multipart_formdata函式

# coding: utf-8
from collections import OrderedDict
from urllib3 import encode_multipart_formdata
params = OrderedDict([("username", (None, '130533193203240022', 'multipart/form-data')),
                  ("password", (None, 'qwerqwer', 'multipart/form-data')),
                  ('captchaId', (None, 'img_captcha_7d96b3cd-f873-4c36-8986-584952e38f20', 'multipart/form-data')),
                  ('captchaWord', (None, 'rdh5', 'multipart/form-data')),
                  ('_csrf', (None, '200ea95d-90e9-4789-9e0b-435a6dd8b57b','multipart/form-data'))])
m = encode_multipart_formdata(params, boundary='----WebKitFormBoundaryKPjN0GYtWEjAni5F')
print m[0]

執行結果：

b'------WebKitFormBoundaryKPjN0GYtWEjAni5F\r\nContent-Disposition: form-data; name="username"\r\nContent-Type: multipart/form-data\r\n\r\n130533193203240022\r\n------WebKitFormBoundaryKPjN0GYtWEjAni5F\r\nContent-Disposition: form-data; name="password"\r\nContent-Type: multipart/form-data\r\n\r\nqwerqwer\r\n------WebKitFormBoundaryKPjN0GYtWEjAni5F\r\nContent-Disposition: form-data; name="captchaId"\r\nContent-Type: multipart/form-data\r\n\r\nimg_captcha_7d96b3cd-f873-4c36-8986-584952e38f20\r\n------WebKitFormBoundaryKPjN0GYtWEjAni5F\r\nContent-Disposition: form-data; name="captchaWord"\r\nContent-Type: multipart/form-data\r\n\r\nrdh5\r\n------WebKitFormBoundaryKPjN0GYtWEjAni5F\r\nContent-Disposition: form-data; name="_csrf"\r\nContent-Type: multipart/form-data\r\n\r\n200ea95d-90e9-4789-9e0b-435a6dd8b57b\r\n------WebKitFormBoundaryKPjN0GYtWEjAni5F--\r\n'

完整請求：

	m = encode_multipart_formdata(params, boundary='----WebKitFormBoundaryKPjN0GYtWEjAni5F')
	x=m[0]
    resp=requests.post(url=url,data=x,headers = {'Content-Type': 'multipart/form-data;boundary=----WebKitFormBoundaryKPjN0GYtWEjAni5F' })

這裡我post s2_061的引數成功了，問題解決

3、application/json

application/json 這個 Content-Type 作為響應頭大家肯定不陌生。現在越來越多的人把它作為請求頭，用來告訴服務端訊息主體是序列化後的 JSON 字串。由於 JSON 規範的流行，除了低版本 IE 之外的各大瀏覽器都原生支援 JSON.stringify，服務端語言也都有處理 JSON 的函式，使用 JSON 不會遇上什麼麻煩。

JSON 格式支援比鍵值對複雜得多的結構化資料，這一點也很有用。記得我幾年前做一個專案時，需要提交的資料層次非常深，我就是把資料 JSON 序列化之後來提交的。不過當時我是把 JSON 字串作為 val，仍然放在鍵值對裡，以 x-www-form-urlencoded 方式提交。

Google 的 AngularJS 中的 Ajax 功能，預設就是提交 JSON 字串。例如下面這段程式碼：

var data = {‘title’:‘test’, ‘sub’ : [1,2,3]};
$http.post(url, data).success(function(result) {
…
});

POST http://www.example.com HTTP/1.1
Content-Type: application/json;charset=utf-8

{"title":"test","sub":[1,2,3]}

這種方案，可以方便的提交複雜的結構化資料，特別適合 RESTful 的介面。各大抓包工具如 Chrome 自帶的開發者工具、Firebug、Fiddler，都會以樹形結構展示 JSON 資料，非常友好。但也有些服務端語言還沒有支援這種方式，例如 php 就無法通過 $_POST 物件從上面的請求中獲得內容。這時候，需要自己動手處理下：在請求頭中 Content-Type 為 application/json 時，從 php://input 裡獲得原始輸入流，再 json_decode 成物件。一些 php 框架已經開始這麼做了。

4、ext/xml

XML-RPC（XML Remote Procedure Call）。它是一種使用 HTTP 作為傳輸協議，XML 作為編碼方式的遠端呼叫規範。典型的 XML-RPC 請求是這樣的：

POST http://www.example.com HTTP/1.1
Content-Type: text/xml

<?xml version="1.0"?>
<methodCall>
<methodName>examples.getStateName</methodName>
<params>
<param>
<value><i4>41</i4></value>
</param>
</params>
</methodCall>

XML-RPC 協議簡單、功能夠用，各種語言的實現都有。它的使用也很廣泛，如 WordPress 的 XML-RPC Api，搜尋引擎的 ping 服務等等。JavaScript 中，也有現成的庫支援以這種方式進行資料互動，能很好的支援已有的 XML-RPC 服務。不過，我個人覺得 XML 結構還是過於臃腫，一般場景用 JSON 會更靈活方便。

以上多數內容來自這裡