Requests基礎內容
阿新 • • 發佈:2018-01-06
app for adding 模擬 如果 頭信息 https請求 result ron
一、引入模塊
import requests
二、普通請求(request)
網頁6種請求方式 | |||||
post(常用) | get(常用) | put | delete | head | options |
r=requests.get(‘http://www.baidu.com‘)#get請求方式 r=requests.post(‘http://www.baidu.com‘)#post請求方式
get請求:我們每次點擊網頁都相當於對服務器發送了一次get請求,所以get請求在requests中比post更常用,它可以帶參數請求API鏈接或搜索內容。
post請求:發送表單內容到服務器,常用於登錄網頁
三、帶參數請求
r=requests.get(url, params={字典},**kwargs)#params為get請求要傳遞的參數 r=post(url, data={字典},json={字典},**kwargs)#data(json)為post請求要提交的參數,data和json兩者提交到服務器的格式不同
params和data(json)分別為get和post將要提交的參數
**kwargs用於接受其它請求參數,比如headers,cookies等。(這部分屬於請求的附加驗證信息,一般大型網站會需要帶上這部分信息參數能訪問,這部分內容在後面會進行展開)
舉個例子:
# 美團美食欄目內容請求API url = ‘http://www.meituan.com/meishi/api/poi/getMerchantComment‘ #設置請求頭信息,模擬瀏覽器訪問 headers = { ‘User-Agent‘: ‘Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1‘, ‘Host‘: ‘www.meituan.com‘, ‘Referer‘: ‘http: // www.meituan.com / meishi/1653468/‘ } # 請求參數包括地區,起始頁,最大信息量,默認分類 data = {‘id‘: ‘1653468‘, ‘userId‘: 0, ‘offset‘: 0, ‘pageSize‘: 10, ‘sortType‘: 1} # 發送data請求 response_obj = requests.get(url, params=data, headers=headers) # 打印輸出response_obj print(response_obj)
>>>
<Response [200]>
四、讀取響應內容
功能 | 參數 | 說明 |
讀取內容 | text | 讀取網頁內容,requests會根據頭部信息自動進行解碼操作 |
content | 二進制內容,常用於讀取網頁圖片或文件 | |
json() | 自動對返回的json串進行解碼,註意帶“()”,請求失敗會拋出異常,ValueError進行捕獲,使用r.raise_for_status()方法進行捕獲 | |
raw | 讀取網頁原始內容,需要設置stream=True | |
讀取參數 | url | 讀取請求的url |
status_code | 讀取返回的狀態碼 | |
raise_for_status() | 用於判斷非200響應,註意帶“()” | |
headers | 讀取服務器響應頭(區別於請求頭) | |
cookies | 讀取服務返回的cookies | |
history | 讀取重定向歷史 |
舉個例子:
import requests URL = ‘http://ip.taobao.com/service/getIpInfo.php‘ # 淘寶IP地址庫API try: r = requests.get(URL, params={‘ip‘: ‘8.8.8.8‘}, timeout=1) r.raise_for_status() # 如果響應狀態碼不是 200,就主動拋出異常 except requests.RequestException as e: print(e) else: result = r.json() print(type(result), result, sep=‘\n‘) >>> <class ‘dict‘> {‘code‘: 0, ‘data‘: {‘country‘: ‘美國‘, ‘country_id‘: ‘US‘, ‘area‘: ‘‘, ‘area_id‘: ‘-1‘, ‘region‘: ‘‘, ‘region_id‘: ‘-1‘, ‘city‘: ‘‘, ‘city_id‘: ‘-1‘, ‘county‘: ‘‘, ‘county_id‘: ‘-1‘, ‘isp‘: ‘Level3‘, ‘isp_id‘: ‘200053‘, ‘ip‘: ‘8.8.8.8‘}}
五、超時與異常
超時等待:
timeout:用於設置服務器響應等待時間,如果在規定時間內服務沒有響應,則拋出異常
舉個例子:
requests.get(‘http://github.com‘, timeout=0.001) Traceback (most recent call last): File "<stdin>", line 1, in <module> requests.exceptions.Timeout: HTTPConnectionPool(host=‘github.com‘, port=80): Request timed out. (timeout=0.001)
異常處理:
異常值 | 說明 |
ConnectionError | 網絡問題 |
HTTPError | 非200狀態碼 |
Timeout | 請求超時 |
TooManyRedirects | 超出最大重定向次數 |
所有Requests顯式拋出的異常都繼承自requests.exceptions.RequestException |
六、其它高級請求參數
參數 | 說明 |
cookies=字典 | 設置cookies |
proxy=列表 | 設置代理 |
headers=字典 | 設置請求頭 |
stream=布爾 | 流式下載或上傳 |
cert=路徑 | 設置驗證設置為False,也可以忽略驗證SSL證書 |
timeout=浮點值 | 設置超時響應 |
verify | 為HTTPS請求驗證SSL證書 |
Requests基礎內容