網際網路，絕大多數的Web開發，都是構建在HTTP協議之上的Web應用,核心就是不同構建在TCP/IP協議基礎上的http請求。固本求原，本篇文章將對http協議進行整理學習、然後使用程式碼去操作。

１.http協議

１.1如何工作

HTTP協議是Hyper Text Transfer Protocol（超文字傳輸協議）的縮寫,是用於從全球資訊網（WWW:World Wide Web ）伺服器傳輸超文字到本地瀏覽器的傳送協議。

HTTP是基於客戶端/服務端（C/S）的架構模型，通過一個可靠的連結來交換資訊，是一個無狀態的請求/響應協議。
一個HTTP"客戶端"是一個應用程式（Web瀏覽器或其他任何客戶端），通過連線到伺服器達到向伺服器傳送一個或多個HTTP的請求的目的。

一個HTTP"伺服器"同樣也是一個應用程式（通常是一個Web服務，如Apache Web伺服器或IIS伺服器等），通過接收客戶端的請求並向客戶端傳送HTTP響應資料。

HTTP使用統一資源識別符號（Uniform Resource Identifiers, URI）來傳輸資料和建立連線。
HTTP是一個基於TCP/IP通訊協議來傳遞資料（HTML 檔案, 圖片檔案, 查詢結果等）。
以下圖表展示了HTTP協議通訊流程：

因此，該協議就是客戶端和伺服器交換資料的一攬子標準。

1.1.1客戶端的http請求

可以是瀏覽器發起請求，也可以是程式程式碼去發起。

1.1.２伺服器的http響應

HTTP響應也由四個部分組成，分別是：狀態行、訊息報文、空行和響應正文。

１.2協議特點

HTTP協議的主要特點可概括如下：
1.支援客戶/伺服器模式。
2.簡單快速：客戶向伺服器請求服務時，只需傳送請求方法和路徑。請求方法常用的有GET、HEAD、POST。每種方法規定了客戶與伺服器聯絡的型別不同。由於HTTP協議簡單，使得HTTP伺服器的程式規模小，因而通訊速度很快。
3.靈活：HTTP允許傳輸任意型別的資料物件。正在傳輸的型別由Content-Type加以標記。
4.無連線：無連線的含義是限制每次連線只處理一個請求。伺服器處理完客戶的請求，並收到客戶的應答後，即斷開連線。採用這種方式可以節省傳輸時間。
5.無狀態：HTTP協議是無狀態協議。無狀態是指協議對於事務處理沒有記憶能力。缺少狀態意味著如果後續處理需要前面的資訊，則它必須重傳，這樣可能導致每次連線傳送的資料量增大。另一方面，在伺服器不需要先前資訊時它的應答就較快。

1.3HTTP協議的報文

HTTP訊息由客戶端到伺服器的請求和伺服器到客戶端的響應組成，請求和響應由HTTP報文傳遞，報文是簡單的格式化資料塊。
起始行和首部就是由行分隔的ASCII文字。每行都以一個由兩個字元組成的行終止序列作為結束，其中包括一個回車符（ASCII碼13）和一個換行符（ASCII碼10）。

請求訊息和響應訊息都是由以下內容組成:

• 起始行（對於請求訊息，開始行就是請求行，對於響應訊息，開始行就是狀態行）
• 訊息報文（首部）（可選）
• 空行（只有CRLF的行）
• 訊息正文（主體）（可選）

如圖，一個請求報文的示意：

每一個報文域都是由名字+“：”+空格+值 組成，訊息報文域的名字是大小寫無關的。
如圖：一個訪問百度的請求報文和響應報文(header)

HTTP訊息報文包括普通報文、請求報文、響應報文、實體報文。

1.3.1.普通報文

在普通報文中，有少數報文域用於所有的請求和響應訊息，但並不用於被傳輸的實體，只用於傳輸的訊息。
eg：
Cache-Control 用於指定快取指令，快取指令是單向的（響應中出現的快取指令在請求中未必會出現），且是獨立的（一個訊息的快取指令不會影響另一個訊息處理的快取機制），HTTP1.0使用的類似的報文域為Pragma。
請求時的快取指令包括：no-cache（用於指示請求或響應訊息不能快取）、no-store、max-age、max-stale、min-fresh、only-if-cached;
響應時的快取指令包括：public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age、s-maxage.

1.3.2.請求報文

請求報文允許客戶端向伺服器端傳遞請求的附加資訊以及客戶端自身的資訊。

1.3.3.響應報文

響應報文允許伺服器傳遞不能放在狀態行中的附加響應資訊，以及關於伺服器的資訊和對Request-URI所標識的資源進行下一步訪問的資訊。

1.3.4.實體報文

請求和響應訊息都可以傳送一個實體。一個實體由實體報文域和實體正文組成，但並不是說實體報文域和實體正文要在一起傳送，可以只發送實體報文域。
HTTP實體的組成：實體首部和實體主體。

實體首部：描述了HTTP報文的內容
實體主體：實體主體即原始資料

1.3.4.1實體首部

Allow：列出了可以對此實體執行的請求方法

Location：告知客戶端實體實際上位於何處，用於將接收端定向到資源的位置(URL)上去

Content-Base：解析主體中的相對URL時使用的基礎URL

Content-Encoding：對主體執行的任意編碼方式

Content-Language：理解主體時最適宜使用的自然語言

Content-Length：主體的長度

Content-Location：資源實際所處的位置

Content-MD5：主體的MD5校驗和

Content-Range：在整個資源中此實體表示的位元組範圍

Content-Type：這個主體的物件型別

ETag：與此實體相關的實體標記

Expires：實體不再有效，要從原始的源端再次獲取實體的日期和時間

Last-Modified：這個實體最後一次被修改的日期和時間

1.3.4.2.實體的主體

該部分其實就是HTTP要傳輸的內容，是可選的。HTTP報文可以承載很多型別的數字資料，比如，圖片、視訊、HTML文件電子郵件、軟體應用程式等等。
這是大頭。但是描述的資訊很少，說明http並不是很care你傳輸的是什麼東西，它就是一個負責運輸的工具。

1.３.5狀態碼

當瀏覽者訪問一個網頁時，瀏覽者的瀏覽器會向網頁所在伺服器發出請求。當瀏覽器接收並顯示網頁前，此網頁所在的伺服器會返回一個包含HTTP狀態碼的資訊頭（server header）用以響應瀏覽器的請求。
HTTP狀態碼由三個十進位制數字組成，第一個十進位制數字定義了狀態碼的型別，後兩個數字沒有分類的作用。HTTP狀態碼共分為5種類型：
HTTP狀態碼的英文為HTTP Status Code。 下面是常見的HTTP狀態碼：

２用Python操作http請求

２.1python處理http的包選型

根據前人踩坑描述，Python 3 處理HTTP請求的包：http，urllib，urllib3，requests。
http是偏低層的，一般不使用。

urllib也是一個包，裡面含有多個模組：urllib.request，urllib.error，urllib.parse，urllib.robotparser。
這裡的urllib.request 跟python 2.X 的urllib2有點像。urllib.request 基於http.client，但是比 http.client 更高層一些。

相比python的標準庫，urllib3有很多很重要的特性，比如執行緒安全等。同時urllib3也很強大而且易於使用。
urllib3：https://pypi.python.org/pypi/urllib3

Requests 基於urllib3，號稱“Requests is an elegant and simple HTTP library for Python, built for human beings.”，意思就是專門為人類設計的HTTP庫。
Requests：http://docs.python-requests.org/en/latest/index.html

2.2urllib3

我作為爬坑的，我說還是不要用它了，不方便。urllib3預設不支援https，支援也可以，請你做點額外的工作。user-guide上都有。

# -*- coding: utf-8 -*-
'''學習使用urlib3，集合了大部分方法的使用Demo.by windanchaos'''
import urllib3

'''
You’ll need a PoolManager instance to make requests. 
This object handles all of the details of connection pooling and thread safety.
'''
http = urllib3.PoolManager()


# make a request use request()
# request() returns a HTTPResponse object
# HTTPResponse返回了http的表頭headers\狀態碼status\實體data.
# 定義超時和重試次數
r1 = http.request('GET', 'http://www.baidu.com',timeout=4.0,retries=10)
r2 = http.request('GET', 'http://httpbin.org/robots.txt')

print(r1.status)
# headers 是header的dict
print(r1.headers)
print(r1.data)

print(r2.status)
print(r2.headers)
print(r2.data)

# 請求資料的組織,下面訪問baidu，使用手機端的User-Agent組織請求報頭,返回的data就是移動端的了
agent={'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) \
    Version/9.0 Mobile/13B143 Safari/601.1'}
r3 = http.request('GET', 'http://www.baidu.com', headers=agent)
print(r3.data)

# post和put請求，需要自己encode請求的引數
from urllib import urlencode
import json
encoded_args = urlencode({'arg': 'value'})
url4 = 'http://httpbin.org/post?' + encoded_args
r4 = http.request('POST', url4)
print(json.loads(r4.data.decode('utf-8'))['args'])

# 當然如果是form資料，urllib3也可以幫你encode，如：
r5 = http.request('POST', 'http://httpbin.org/post', fields={'field': 'value'})
print(json.loads(r5.data.decode('utf-8'))['form'],r5.status)

# post json demo
data = {'attribute': 'value'}
encoded_data = json.dumps(data).encode('utf-8')
r6 = http.request('POST', 'http://httpbin.org/post', body=encoded_data, headers={'Content-Type': 'application/json'})
print(json.loads(r6.data.decode('utf-8'))['json'])


# post file and binary data
'''
For uploading files using multipart/form-data encoding you can use the same approach as Form data and specify 
the file field as a tuple of (file_name, file_data)
'''
with open('example.txt') as fp:
    file_data = fp.read()
r7 = http.request('POST','http://httpbin.org/post', fields={'filefield': ('example.txt', file_data, 'text/plain')})
json.loads(r7.data.decode('utf-8'))['files']


'''
For sending raw binary data simply specify the body argument. It’s also recommended to set the Content-Type header
'''
with open('example.jpg', 'rb') as fp:
    binary_data = fp.read()
r8 = http.request('POST','http://httpbin.org/post',body=binary_data,headers={'Content-Type': 'image/jpeg'})
json.loads(r8.data.decode('utf-8'))['data']

# 對ssl預設是不支援的。需要提供額外的配置或下載額外的包。

# log & Errors & Exceptions¶
'''
If you are using the standard library logging module urllib3 will emit several logs. 
In some cases this can be undesirable. 
You can use the standard logger interface to change the log level for urllib3’s logger
>>>logging.getLogger("urllib3").setLevel(logging.WARNING)

>>> try:
...     http.request('GET', 'nx.example.com', retries=False)
>>> except urllib3.exceptions.NewConnectionError:
...     print('Connection failed.')
'''

2.3requests

文章超長了。轉到下一篇繼續。