requests類庫 作業總結
1,在用get方法時,可在網址後加一個問號?表示傳遞參數
例:repose=requests.get(‘http;//httpbin.org/get?name=germey&age=22‘)
2 ,也可在get中設置params參數(要求後面添加的參數為字典的形式)
例:repose=requests.get(‘http;//httpbin.org/get,params={‘name‘:‘germy‘,‘age‘=22}
3 ,在獲取源代碼得到的是雜亂無章的時候,可用josn,即名字.json或json.loads(名字.text)
4,用get方式獲取圖片時,如果直接用名字.text輸出網頁源代碼時,得到的是亂碼,要獲取圖片則要獲取圖片的二進制代碼,可以用名字.content
(如何把網頁上的圖片爬取下來?在get網址後,用with open(‘新建一個文件名.圖片後綴’,‘wb’)as**: 再用**.write(獲取圖片二進制源碼的方式)
5,在爬取網頁數據時,如若不被允許,可以仿造瀏覽器來爬取
6,請求要有請求頭,有了請求頭會更像是瀏覽器在訪問數據,找到網頁中F12的請求頭代碼,,創建一個變量,使得變量={‘請求頭名’:‘請求頭代碼’}
7,在get獲得網頁時get(‘網址’,變量名=變量名)
8,狀態碼判斷:在訪問網絡不成功時,可用exit()if not 名字.status_code==200
else print(‘Request Successful’)表示如果狀態碼為200訪問不成功時,則退出,否則則輸出Request Successful
9,如何把一個圖片上傳到網絡?
設置一個變量為files,files={‘files’:open(‘圖片名’,‘rb’)}
value值為操作系統open接口類型(上傳文件,圖片均用post)
名字=request.post(‘網址’,files=files)
10,訪問網站出現不安全提示時,可用package下urllib3類庫下的警告類庫-------urllib3.disable_warnings()再用get訪問(‘網址’,verify=False)
其中verify=False是指不要出現驗證方式
11,訪問超時的設置,可以設置訪問時間超過多久就退出,用requests類庫中Exception類,再導入Timeout
名字=requests.get(‘網址’,timeout=1)訪問該網址超過1秒就停止,輸出狀態碼
requests類庫 作業總結