Python爬蟲中，除了urlib()外，還有一個使用的比較多的HTTP請求庫——requests。這個庫也是常用於HTTP請求模組，它使用Python語言編寫，可以方便的對網頁進行爬取，是學習Python比較好的HTTP請求模組。

Python3中沒有預設安裝requests庫，在前一篇文章中，已經介紹了requests的安裝。其中，requests庫的pip安裝命令為pip install requests 。

接下來，我們來看看requests庫的7個主要方法，如下表所示：

1. requests.get()

requests.get()方法時常用方法之一，使用者獲取HTML。我們可以通過該方法連結其他方法，格式如下：

1 res = requests.get(url , params ,**kwargs)

引數說明見下表：

**kwargs

1 kv= {'key1':'value1'}
2 r = requests.request('POST',"http://python123.io/ws",json=kv)

1 hd = {'user-agent':'Chrome/10'}
2 r = requests.requests('POST','http://python123.io/ws',headers=hd)

前面的示例程式碼是構造一個伺服器請求requests，返回一個包含伺服器資源的Response物件。其中Request物件有以下屬性，如表3-3所示。

示例程式碼如下：

1 import  requests;
2 
3 url = 'https://www.baidu.com/';
4 r = requests.get(url);
5 print(r.status_code)
6 print(r.encoding)
7 print(r.apparent_encoding)
8 print(r.text)

執行結果如下圖：

2.requests庫的異常

requests庫有時會產生異常，如網路連線錯誤、HTTP錯誤異常、重定向異常、請求URL超時異常等。這裡可以利用r.raise_for_status()語句來捕捉異常，該語句在方法內部判斷r.status_code是否等於200，如果不等於，則丟擲異常，示例程式碼如下。

 1 import requests
 2 
 3 url = 'https://www.baidu.com/';
 4 try:
 5     r = requests.get(url , timeout=30)  # 請求超時時間為30s
 6     r.raise_for_status()    # 如果狀態不是200則引發異常
 7     r.encoding = r.apparent_encoding # 配置編碼
 8     print(r.text)
 9     print(1)
10 except:
11     print("產生異常")

3. requests.head()

通過requests.head()方法，可以獲取地址的header頭部資訊，示例程式碼如下：

1 import requests
2 
3 url = 'https://www.baidu.com/';
4 r = requests.head(url)
5 print(r.headers)

4. requests.post()

requests.post()反覆一般用於表單提交，向指定URL提交資料，可提交字串、字典、檔案等資料，示例程式碼如下：

 1 import  requests
 2 
 3 # 向url post 一個字典
 4 payload = {"key1":"value1","key2":"value2"}
 5 r = requests.post("http://httpbin.org/post",data=payload) # 這裡的url 並非真實的請求
 6 print(r.text)
 7 
 8 # 向url post 一個字串，自動編碼為data
 9 r = requests.post("http://httpbin.org/post",data="hello") # 這裡的url 並非真實的請求
10 print(r.text)

5. requests.put()和requests.patch()

requests。patch()和reques.put()類似，兩者不同的是：當patch時，僅需提交修改的欄位，但put時，必須將20個欄位一起提交到URL,未提交的欄位將會刪除；patch的優點是節省網路頻寬，示例程式碼如下：

 1 import  requests
 2 
 3 # requests.put
 4 payload = {"key1":"value1","key2":"value2"}
 5 r = requests.put("http://httpbin.org/put",data=payload) # 這裡的url 並非真實的請求
 6 print(r.text)
 7 
 8 # requests.post
 9 payload = {"key1":"value1","key2":"value2"}
10 r = requests.patch("http://httWpbin.org/patch",data=payload) # 這裡的url 並非真實的請求
11 print(r.text)