python爬蟲模擬瀏覽器訪問-User-Agent過程解析
阿新 • • 發佈:2020-01-09
這篇文章主要介紹了python爬蟲模擬瀏覽器訪問-User-Agent過程解析,文中通過示例程式碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
模擬瀏覽器訪問-User-Agent:
import urllib2 #User-Agent 模擬瀏覽器訪問 headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/79.0.3945.88 Safari/537.36"} #通過urllib2.Request()方法構造一個請求物件 request = urllib2.Request("http://www.baidu.com/",headers = headers) #向指定的URL地址傳送請求,並返回伺服器響應的類檔案物件 #response是伺服器響應的類檔案,除了支援檔案操作的方法外,還支援以下常用的方法: response = urllib2.urlopen(request) #伺服器返回的類檔案物件支援python檔案物件的操作方法 #read()方法就是讀取檔案裡的全部內容,返回字串 html = response.read() #返回HTTP的響應碼,成功返回200,4伺服器頁面出錯;5.伺服器問題 print response.getcode() #返回實際資料的實際URL,防止重定向問題 print response.geturl() #返回伺服器響應的HTTP報頭 print response.info() #列印響應內容 print(html)
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。