1. 程式人生 > >常用的第三方模組 requests url

常用的第三方模組 requests url

我們已經講解了Python內建的urllib模組,用於訪問網路資源。但是,它用起來比較麻煩,而且,缺少很多實用的高階功能。

更好的方案是使用requests。它是一個Python第三方庫,處理URL資源特別方便。

安裝requests

如果安裝了Anaconda,requests就已經可用了。否則,需要在命令列下通過pip安裝:

$ pip install requests

如果遇到Permission denied安裝失敗,請加上sudo重試。

使用requests

要通過GET訪問一個頁面,只需要幾行程式碼:

>>> import requests
>>> r = requests.get('https://www.douban.com/') # 豆瓣首頁
>>> r.status_code
200
>>> r.text
r.text
'<!DOCTYPE HTML>\n<html>\n<head>\n<meta name="description" content="提供圖書、電影、音樂唱片的推薦、評論和...' 

對於帶引數的URL,傳入一個dict作為params引數:

>>> r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'}) >>> r.url # 實際請求的URL 'https://www.douban.com/search?q=python&cat=1001' 

requests自動檢測編碼,可以使用encoding屬性檢視:

>>> r.encoding
'utf-8'

無論響應是文字還是二進位制內容,我們都可以用content

屬性獲得bytes物件:

>>> r.content
b'<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8">\n...' 

requests的方便之處還在於,對於特定型別的響應,例如JSON,可以直接獲取:

>>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json') >>> r.json() {'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', ... 

需要傳入HTTP Header時,我們傳入一個dict作為headers引數:

>>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})
>>> r.text
'<!DOCTYPE html>\n<html>\n<head>\n<meta charset="UTF-8">\n <title>豆瓣(手機版)</title>...' 

要傳送POST請求,只需要把get()方法變成post(),然後傳入data引數作為POST請求的資料:

>>> r = requests.post('https://accounts.douban.com/login', data={'form_email': '[email protected]', 'form_password': '123456'}) 

requests預設使用application/x-www-form-urlencoded對POST資料編碼。如果要傳遞JSON資料,可以直接傳入json引數:

params = {'key': 'value'}
r = requests.post(url, json=params) # 內部自動序列化為JSON

類似的,上傳檔案需要更復雜的編碼格式,但是requests把它簡化成files引數:

>>> upload_files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=upload_files) 

在讀取檔案時,注意務必使用'rb'即二進位制模式讀取,這樣獲取的bytes長度才是檔案的長度。

post()方法替換為put()delete()等,就可以以PUT或DELETE方式請求資源。

除了能輕鬆獲取響應內容外,requests對獲取HTTP響應的其他資訊也非常簡單。例如,獲取響應頭:

>>> r.headers
{Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Content-Encoding': 'gzip', ...} >>> r.headers['Content-Type'] 'text/html; charset=utf-8' 

requests對Cookie做了特殊處理,使得我們不必解析Cookie就可以輕鬆獲取指定的Cookie:

>>> r.cookies['ts']
'example_cookie_12345'

要在請求中傳入Cookie,只需準備一個dict傳入cookies引數:

>>> cs = {'token': '12345', 'status': 'working'} >>> r = requests.get(url, cookies=cs) 

最後,要指定超時,傳入以秒為單位的timeout引數:

>>> r = requests.get(url, timeout=2.5) # 2.5秒後超時