2. 程式人生 > >Python Requests庫簡明使用教程

Python Requests庫簡明使用教程

阿新 • • 發佈：2019-01-08

Requests是一常用的http請求庫，它使用python語言編寫，可以方便地傳送http請求，以及方便地處理響應結果。

一、安裝

1.1 使用pip進行安裝

要安裝requests，最方便快捷的方法是使用pip進行安裝。

pip install requests

如果還沒有安裝pip，這個連結 Properly Installing Python 詳細介紹了在各種平臺下如何安裝python以及setuptools，pip，virtualenv等常用的python工具，可以參考其中的步驟來進行安裝。如果是在Windows平臺下使用requests，也可以參考 《Windows下安裝Django》

中有關 pip 安裝的介紹來安裝pip。

1.2 使用原始碼安裝

可以在github上下載最新的requests的原始碼

git clone git://github.com/kennethreitz/requests.git

下載成功後，使用以下命令進行安裝

python setup.py install

二、使用

2.1 傳送http請求

為了使用requests，需要首先將requests庫import進來：

import requests

然後，可以使用requests來發送http請求，例如傳送get請求：

r = requests.get
 
('http://httpbin.org/ip')

執行此行程式碼，獲得一個Response物件r，從r可以獲取http請求的響應結果。

如果要傳送post請求，則

r = requests.post('http://httpbin.org/post', data={'name': 'leo'})

2.2 構造url

我們常常將http請求的引數以url的query string的形式進行傳送，傳統的做法是我們使用拼湊的方式構造這個url。例如我們需要構造以下這個url：

使用reqeuets，你可以方便地構造這個url，而不用手工拼湊。你只需要將這些引數和值構造一個字典，然後將這個字典傳給params

引數即可：

d = {'key1': 'value1', 'key2': 'value2'}
r = requests.get('http://httpbin.org/get', params=d)
print r.url

輸出

你可以看到，key1和key2這兩個引數已被正確附加到url的query string中。

2.3 HTTP響應正文

一個http響應的格式通常如下：

響應行
響應報頭
響應正文

HTTP/1.1 200 OK
Server: nginx
Date: Thu, 07 Jul 2016 02:53:49 GMT
Content-Type: application/json
Content-Length: 31
Connection: keep-alive
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true
[空行]
{
“origin”: “43.230.90.94”
}

注意，響應正文與響應頭部之間有一空行間隔。Requests已將http響應封裝成Response物件，從Response物件可獲取響應正文的內容。

2.3.1 響應正文文字

使用Response.text，可以獲取響應的正文文字內容。

r = requests.get('http://httpbin.org/ip')
print r.text

輸出

{
“origin”: “218.107.63.234”
}

Requests會自動對響應正文進行解碼：如果Response.encoding為空，那麼requests會猜測響應的編碼方式，然後進行解碼。如果你可以確定響應的編碼方式，也可以先對Response.encoding進行設定，然後再通過Response.text獲取響應正文。

2.3.2 二進位制響應正文

使用Response.content可以獲取響應正文的二進位制位元組內容。

from PIL import Image
from StringIO import StringIO

r = requests.get('https://img-blog.csdn.net/20150719230252020')
image = Image.open(StringIO(r.content))
print image.size  # 輸出(680, 510)
image.show()  # Windows平臺下可以開啟影象

上面的程式碼使用Response.content構造了一幅影象，然後輸出其尺寸並開啟該影象。

2.3.3 Json響應正文

如果響應正文是一json串，可以使用Response.json()方法對響應正文進行json decode操作，並返回一個字典。

r = requests.get('http://httpbin.org/ip')
d = r.json()
print d
print d['origin']

輸出：

{u’origin’: u’43.230.90.94’}
u’43.230.90.94’

如果響應正文不是一個json串，則會報錯。

2.4 響應狀態

Response物件status_code屬性標識http請求響應的狀態碼：

r = requests.get('http://httpbin.org/get')
print r.status_code

如果狀態碼是40X或者50X，那麼可以使用Response.raise_for_status()丟擲一下異常：

r = requests.get('http://httpbin.org/status/404')
print r.status_code

404

響應返回404，故使用以下語句會丟擲異常：

r.raise_for_status()

Traceback (most recent call last):
raise HTTPError(http_error_msg, response=self)
requests.exceptions.HTTPError: 404 Client Error: NOT FOUND for url:
http://httpbin.org/status/404

如果是返回200，則raise_for_status()並不會丟擲異常。

r = requests.get('http://httpbin.org/status/200')
print r.status_code
r.raise_for_status()

2.5 響應的頭部

Response物件的headers屬性是一個字典，可以獲得http響應結果的頭部的相關資訊：

r = requests.get('http://httpbin.org/headers')
print r.headers

輸出：

{‘Content-Length’: ‘157’, ‘Server’: ‘nginx’, ‘Connection’: ‘keep-alive’, ‘Access-Control-Allow-Credentials’: ‘true’, ‘Date’: ‘Wed, 06 Jul 2016 15:53:36 GMT’, ‘Access-Control-Allow-Origin’: ‘*’, ‘Content-Type’: ‘application/json’}

2.6 定製請求的頭部

Requests支援定製http請求的頭部。為此，我們只需要構造一個字典，然後傳給requests.get()的headers引數即可。

url = 'http://httpbin.org/headers'
headers = {'user-agent': 'my-app/0.0.1'}
r = requests.get(url, headers=headers)
print r.text

http://httpbin.org/headers 這個連結可以輸出請求的頭部，由於我們修改了請求頭的user-agent欄位，所以會訪問這個連結會返回：

{
“headers”: {
“Accept”: “/“,
“Accept-Encoding”: “gzip, deflate”,
“Host”: “httpbin.org”,
“User-Agent”: “my-app/0.0.1”
}
}

2.7 傳送POST請求

一個http請求包括三個部分，為別為請求行，請求報頭，訊息主體，類似以下這樣：

請求行
請求報頭
訊息主體

HTTP協議規定post提交的資料必須放在訊息主體中，但是協議並沒有規定必須使用什麼編碼方式。服務端通過是根據請求頭中的Content-Type欄位來獲知請求中的訊息主體是用何種方式進行編碼，再對訊息主體進行解析。具體的編碼方式包括：

  • application/x-www-form-urlencoded
    最常見post提交資料的方式，以form表單形式提交資料。
  • application/json
    以json串提交資料。
  • multipart/form-data
    一般使用來上傳檔案。

2.7.1 以form形式傳送post請求

Reqeusts支援以form表單形式傳送post請求，只需要將請求的引數構造成一個字典，然後傳給requests.post()的data引數即可。

url = 'http://httpbin.org/post'
d = {'key1': 'value1', 'key2': 'value2'}
r = requests.post(url, data=d)
print r.text

輸出：

{
“args”: {},
“data”: “”,
“files”: {},
“form”: {
“key1”: “value1”,
“key2”: “value2”
},
“headers”: {
……
“Content-Type”: “application/x-www-form-urlencoded”,
……
},
“json”: null,
……
}

可以看到，請求頭中的Content-Type欄位已設定為application/x-www-form-urlencoded，且d = {'key1': 'value1', 'key2': 'value2'}以form表單的形式提交到服務端，服務端返回的form欄位即是提交的資料。

2.7.2 以json形式傳送post請求

可以將一json串傳給requests.post()的data引數，

url = 'http://httpbin.org/post'
s = json.dumps({'key1': 'value1', 'key2': 'value2'})
r = requests.post(url, data=s)
print r.text

輸出：

{
“args”: {},
“data”: “{\”key2\”: \”value2\”, \”key1\”: \”value1\”}”,
“files”: {},
“form”: {},
“headers”: {
……
“Content-Type”: “application/json”,
……
},
“json”: {
“key1”: “value1”,
“key2”: “value2”
},
……
}

可以看到，請求頭的Content-Type設定為application/json，並將s這個json串提交到服務端中。

2.7.3 以multipart形式傳送post請求

Requests也支援以multipart形式傳送post請求，只需將一檔案傳給requests.post()的files引數即可。

url = 'http://httpbin.org/post'
files = {'file': open('report.txt', 'rb')}
r = requests.post(url, files=files)
print r.text

輸出：

{
“args”: {},
“data”: “”,
“files”: {
“file”: “Hello world!”
},
“form”: {},
“headers”: {……
“Content-Type”: “multipart/form-data; boundary=467e443f4c3d403c8559e2ebd009bf4a”,
……
},
“json”: null,
……
}

文字檔案report.txt的內容只有一行：Hello world!，從請求的響應結果可以看到資料已上傳到服務端中。

2.8 Cookie設定

使用requests，可以輕鬆獲取響應的cookies，和設定請求的cookies。

2.8.1 獲取響應的cookies

r.cookies是響應cookies的字典，通過r.cookies可訪問響應帶上的cookies。

r = requests.get(url)
print r.cookies['example_cookie_name']

2.8.2 傳送帶cookies的請求

url = 'http://httpbin.org/cookies'
cookies = {'cookies_are': 'working'}
r = requests.get(url, cookies=cookies)
print r.text

輸出：

{
“cookies”: {
“cookies_are”: “working”
}
}

2.9 請求的超時設定

Requests允許對一個http請求設定超時的時間，只需要在requests.get()或者requests.post()方法的timeout引數設定一個值（單位為秒）即可。

url = 'http://httpbin.org/get'
r = requests.get(url, timeout=0.001)

將會丟擲一個超時異常：

raise ConnectTimeout(e, request=request)
requests.exceptions.ConnectTimeout: HTTPConnectionPool(host=’httpbin.org’, port=80): Max retries exceeded with url: /get (Caused by ConnectTimeoutError(

2.10 異常

在傳送http請求時，由於各種原因，requests可能會請求失敗而丟擲異常。常見的異常包括：

  • ConnectionError
    由於網路原因，無法建立連線。
  • HTTPError
    如果響應的狀態碼不為200，Response.raise_for_status()會丟擲HTTPError 異常。
  • Timeout
    超時異常。
  • TooManyRedirects
    若請求超過了設定的最大重定向次數，則會丟擲一個 TooManyRedirects 異常。

所有requests丟擲的異常都繼承自 requests.exceptions.RequestException類。

三、小結

從以上介紹可以看到，requests在處理httpy請求和響應時可謂簡單而直觀，這也印證了requests的開發哲學：

  1. Beautiful is better than ugly.(美麗優於醜陋)
  2. Explicit is better than implicit.(清楚優於含糊)
  3. Simple is better than complex.(簡單優於複雜)
  4. Complex is better than complicated.(複雜優於繁瑣)
  5. Readability counts.(重要的是可讀性)

共勉。

四、參考資料

相關推薦

Python Requests庫簡明使用教程

Requests是一常用的http請求庫，它使用python語言編寫，可以方便地傳送http請求，以及方便地處理響應結果。 一、安裝 1.1 使用pip進行安裝 要安裝requests，最方便快捷的方法是使用pip進行安裝。 pip ins

python requests庫學習筆記（下）

mail 接收 緩存 nbsp 0.10 基本 eat agen 維基百科 1.請求異常處理 請求異常類型： 請求超時處理（timeout）： 實現代碼： import requestsfrom requests import exceptions #引

python requests 庫請求帶有檔案引數的介面

有些介面引數是一個檔案格式，比如fiddler 抓包引數如下顯示 這個介面的 form-data fiddler 顯示的和不帶檔案引數的介面有明顯區別，顯示的不是簡單的鍵值對，所以我們也不能只通過 data給介面傳參，需要再value為<file>的引數通過 files傳參

利用Python requests庫從網上下載txt檔案時多出一個CR的處理

問題描述 讀1 的Reading word lists小節時，發現需要從thinkpython2/code/words.txt上下載words.txt檔案。我不想利用複製-貼上的方法構造該檔案，想到之前學過的爬蟲技術，於是寫下如下程式碼： import requests r =

利用Python requests庫實現cas認證

1.準備工作-背景知識 1.1 requests庫簡介： python有很多可以用來測試介面的模組，個人覺得，requests庫是最好用的， 在Robot Framwork裡，它的測試庫requestsLibrary，也是基於requests寫的。 1.1.1 安裝： 作為第三方模組，使用前，需要安裝，最簡單

離線安裝python requests庫

  網上很多人寫的什麼離線安裝，無非是下載一個xxx.whl檔案，通過pip install xxx.whl命令列安裝。實際上安裝的過程中還需要聯網去下載一些依賴包。 requests==2.19.1 - certifi [required: >=2017.4.17, ins

python--requests庫

請求庫 雖然Python的標準庫中urllib模組已經包含了平常我們使用的大多數功能，但是它的API使用起來讓人感覺不太好，而請求庫的宣傳是“HTTP for Humans”，說明使用更加簡潔方便。 安裝和文件地址： 利用pip可以非常網求方便的安裝： pip install req

python requests庫呼叫網易蜂巢API！

沒事看了下網易蜂巢的控制檯API，參考文件寫了一部分建立雲主機的API練練手，主要是通過requests庫來發送 HTTP 請求完成各種資料的傳送 具體程式碼 #!/usr/bin/env python #-*-coding:utf-8 import requests import json

python-requests 庫使用

python-requests 庫使用 """ 安裝 pip install requests """ # 使用 import requests response = requests.get('https://www.baidu.com/') print(type(response)

python requests庫報錯的問題及解決

報錯如下： requests.exceptions.ConnectionError: HTTPConnectionPool(host='www.8ydy.com', port=80): Max retries exceeded with url: / (Caused by

Python requests庫

let 列表 ssa swe requests ams 參數 not local Python requests是python的一個HTTP客戶端庫，可以使用requests庫提供的方法對http協議進行請求。 requests安裝： Pip install reque

利用python requests庫模擬登陸知乎

當初搜模擬登陸的時候在知乎上也找到一些內容。 以下是程式碼 import requests import time import json import os import re import sys import subprocess from bs4 import Be

python requests庫網頁爬取小實例：百度/360搜索關鍵詞提交

ext aid col text () status exc print 爬取 百度/360搜索關鍵詞提交全代碼： #百度/360搜索關鍵詞提交import requestskeyword=‘Python‘try: 　　#百度關鍵字　　# kv={‘w

python機器學習庫scikit-learn簡明教程之：SVM支援向量機

1.獲得樣例資料 scikit-learn庫有一些標準的資料集，例如分類的數字集，波士頓房價迴歸資料集。 在下面，我們啟動Python直譯器，然後載入資料集。我們可以認為，美元符號後輸入python然

python機器學習庫scikit-learn簡明教程之：隨機森林

1.scikit-learn中的隨機森林 sklearn.ensemble模組中包含兩種基於隨機決策樹的平均演算法：隨機森林演算法和ExtraTrees的方法。這兩種演算法都是專為決策樹設計的包含混合

python機器學習庫scikit-learn簡明教程之：AdaBoost演算法

1.AdaBoost簡介及原理 Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然後把這些弱分類器集合起來，構成一個更強的最終分類器（強分類器）。 Adab

神經網絡基本原理簡明教程-0-Python-Numpy庫的點滴

nump master all 廣播 per .sh 繪圖 解惑 資源 Python中的Numpy的基本知識 Copyright ? Microsoft Corporation. All rights reserved. 適用於License版權許可 更多微軟人工智能學習資

Python簡明教程：基本概念

python1 字面意義上的常量，如2、‘This is ok‘這樣的字符串>>> print(‘a,2,3‘)a,2,32 字符串單引號（‘）使用單引號指示字符串，類似shell中的強引用，所有的空格、制表符照原樣保留。>>> print(‘This is ok‘)Thi

Python簡明教程：運算符與表達式

python Python大多數語句都包含表達式，如2+3，一個表達式可以分解為運算符和操作數。在上面的例子中，+為運算符，2和3為操作數。示例：>>> 2+35>>> 3+3*29本文出自 “一萬年太久，只爭朝夕” 博客，請務必保留此出處http://zengwj1

Python爬蟲：HTTP協議、Requests庫

.org clas python爬蟲 print 通用 娛樂 信息 傳輸協議 介紹 HTTP協議： HTTP（Hypertext Transfer Protocol）：即超文本傳輸協議。URL是通過HTTP協議存取資源的Internet路徑，一個URL對應一個數據資源。