從第一個爬蟲建立起做蟲師的心,request物件,簡單使用,構造簡單的裝置請求頭,爬蟲簡單案例篇(2)
阿新 • • 發佈:2018-12-15
from urllib.request import urlopen from urllib.request import Request url ='http://www.baidu.com/' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3573.0 Safari/537.36' } #加入請求頭 request=Request(url,headers=headers) #訪問的時候加入請求頭資訊 response =urlopen(url) info =response.read() print(info.decode())
訪問一個頁面的時候不能總是python什麼什麼的,就告訴別人你是爬蟲,別人不封你才怪,所以我們加下請求裝置頭,這個在哪裡呢?