1. 程式人生 > 程式設計 >python爬蟲模擬瀏覽器訪問-User-Agent過程解析

python爬蟲模擬瀏覽器訪問-User-Agent過程解析

這篇文章主要介紹了python爬蟲模擬瀏覽器訪問-User-Agent過程解析,文中通過示例程式碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

模擬瀏覽器訪問-User-Agent:

import urllib2

#User-Agent 模擬瀏覽器訪問
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/79.0.3945.88 Safari/537.36"}

#通過urllib2.Request()方法構造一個請求物件
request = urllib2.Request("http://www.baidu.com/",headers = headers)


#向指定的URL地址傳送請求,並返回伺服器響應的類檔案物件
#response是伺服器響應的類檔案,除了支援檔案操作的方法外,還支援以下常用的方法:
response = urllib2.urlopen(request)



#伺服器返回的類檔案物件支援python檔案物件的操作方法
#read()方法就是讀取檔案裡的全部內容,返回字串
html = response.read()

#返回HTTP的響應碼,成功返回200,4伺服器頁面出錯;5.伺服器問題
print response.getcode()

#返回實際資料的實際URL,防止重定向問題
print response.geturl()

#返回伺服器響應的HTTP報頭
print response.info()


#列印響應內容
print(html)

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。