上一篇我們介紹了 Requests 庫的基本用法，學會之後大家就可以應付一般的請求了。這一篇我們接著介紹 Requests 的高階用法，以便應付一些棘手的問題。

會話維持

在 requests 中，直接使用 get() 或 post() 方法確實可以做到模擬網頁的請求，但是這實際上是兩個不同的會話，相當於用了兩個瀏覽器開啟不同的頁面，而這兩個頁面是不共享 cookies 的。會話維持相當於打在原來的瀏覽器上新開了一個頁面，這樣就不用每次去設定 cookies 了——這就是Session物件。

s = requests.Session()
s.get('http://httpbin.org/cookies/set/sessioncookie/123456789'
 
)
r = s.get("http://httpbin.org/cookies")
print(r.text)

#返回
{
  "cookies": {}
}
複製程式碼

這裡我們請求了一個測試網站，設定了一個 Cookie ，名稱為 num ，內容為123456，之後又發起了請求，獲取Cookies，結果並沒有取到第一次請求的 Cookie。

試想一種常見的場景：我登入一個網站之後，點選裡面某個功能的時候，是不需要再登入的，為什麼？因為登入操作之後，瀏覽器與伺服器之間就建立了一個 Session ，我在同一瀏覽器再次請求伺服器的時候，共用的是這一個 Session ，所以不用再次登入。那麼如果我使用程式碼去請求呢？按照上面的例子，我請求兩次並不會共享 Session，那就沒法實現這個場景功能。而 Requests 的會話可以實現這種場景功能。

我們再來看個例子：

session = requests.Session()
session.get('http://httpbin.org/cookies/set/num/123456')
res = session.get('http://httpbin.org/cookies')
print(res.text)

#返回
{
  "cookies": {
    "num": "123456"
  }
}
複製程式碼

這個例子中，我們使用 Session 物件請求，第一次請求設定的 Cookie ，在第二次請求中我們仍然可以獲取到，說明兩次請求在同一個 Session 中。

身份認證

在訪問網站時，我們經常會遇到需要身份認證的頁面，需要輸入使用者名稱和密碼才能登入網站。這個時候我們可以使用 Requests 自帶的身份認證功能。

import requests
from requests.auth import HTTPBasicAuth

#請將username和password替換成自己在該網站的登入使用者名稱和密碼
res = requests.get('http://www.baidu.com',auth=HTTPBasicAuth('username','password'))
print(res.status_code)

#返回
200
複製程式碼

如果使用者名稱和密碼都正確的話，就會成功，返回200狀態碼。否則返回401狀態碼。

SSL證書驗證

現在隨處可見 https 開頭的網站，Requests 可以為 HTTPS 請求驗證 SSL 證書，就像 web 瀏覽器一樣。要想檢查某個主機的 SSL 證書，你可以使用 verify 引數：

import requests

r = requests.get('https://httpbin.org',verify=True)
print(r.text)
複製程式碼

如果想檢查驗證某個主機的 SSL 證書，就將 verify 設定為 True ，如果證書無效，就會報 requests.exceptions.SSLError 的錯誤。如果想跳過檢查，就將 verify 引數設定為 False。 verify 引數預設是 True ，所以如果需要的話，需要手動設定下這個變數。

代理設定

對於某些網站，如果請求幾次，或許能正常獲取內容。一旦開始爬取，對於大規模的頻繁請求，網站可能會彈出驗證碼，或者跳轉到登陸認證，或者封禁IP，導致一定時間內無法訪問。此時，就需要設定代理還解決這個問題，就要用到 proxies 引數。

# 代理設定
proxies = {
    'http': 'http://127.0.0.1:9001','https': 'https://127.0.0.2:9002'
}
requests.get('http://www.baidu.com',proxies=proxies)

複製程式碼

這裡的兩個地址都是編的，僅做示例用。如果你想跑起來的話需要換成有效代理。

SOCKS

除了基本的 HTTP 代理，Request 還支援 SOCKS 協議的代理。這是一個可選功能，若要使用， 你需要安裝第三方庫。你可以用 pip 獲取依賴:

$ pip install requests[socks]
複製程式碼

安裝好依賴以後，使用 SOCKS 代理和使用 HTTP 代理一樣簡單：

proxies = {
    'http': 'socks5://user:pass@host:port','https': 'socks5://user:pass@host:port'
}
複製程式碼

超時設定

在 Rquests 的基本用法中，我們介紹了超時的用法，通過使用 timeout 引數來配置。例如：

r = requests.get('https://github.com',timeout=5)
複製程式碼

我們知道，一個 HTTP 請求會有 connect 和 read 兩部分時間，上面的例子中設定的是二者加起來的超時時間。如果要分別制定，我們需要傳入一個元組：

r = requests.get('https://github.com',timeout=(3.05,27))
複製程式碼

如果遠端伺服器很慢，如果你想要 Request 一直等待伺服器返回，那麼可以給 timeout 賦值 None：

r = requests.get('https://github.com',timeout=None)
複製程式碼

總結

本文為大家講述了幾個 Requests 的高階特性，通過掌握這些特性，我們就基本上掌握了 Requests 的常用功能，也可以運用 Requests 去解決實際問題了。我們的 Requests 介紹也就告一段落了，剩下的靠大家去實踐出真知了。