1. 程式人生 > >代理設定ProxyHandler處理器

代理設定ProxyHandler處理器

在進行爬蟲的時候,很多網站會檢測某一段時間內同一個ip的訪問次數,如果訪問的次數異常多,就會禁止這個ip的訪問,可以通過設定一些代理伺服器,通過每隔一段時間換一個代理進行爬取。通過urllib中的ProxyHandler來設定代理伺服器。

常用的代理有:

#沒有使用代理的方法
from urllib import request
resp=request.urlopen("http://httpbin.org/ip")
print(resp.read())
#使用代理
from urllib import request
handler=request.ProxyHandler({'http':'116.7.176.170:8118'})#使用ProxyHandler,傳入代理構建一個handler
opener=request.build_opener(handler)#使用上面建立的handler構建一個opener
req=request.Request("http://httpbin.org/ip")
resp=opener.open(req)#使用opener去傳送一個請求
print(resp.read())