代理設定ProxyHandler處理器
阿新 • • 發佈:2018-12-08
在進行爬蟲的時候,很多網站會檢測某一段時間內同一個ip的訪問次數,如果訪問的次數異常多,就會禁止這個ip的訪問,可以通過設定一些代理伺服器,通過每隔一段時間換一個代理進行爬取。通過urllib中的ProxyHandler來設定代理伺服器。
常用的代理有:
- 西刺免費代理IP:http://www.xicidaili.com/
- 快代理:http://www.kuaidaili.com/
- 代理雲:http://www.dailiyun.com/
#沒有使用代理的方法 from urllib import request resp=request.urlopen("http://httpbin.org/ip") print(resp.read())
#使用代理
from urllib import request
handler=request.ProxyHandler({'http':'116.7.176.170:8118'})#使用ProxyHandler,傳入代理構建一個handler
opener=request.build_opener(handler)#使用上面建立的handler構建一個opener
req=request.Request("http://httpbin.org/ip")
resp=opener.open(req)#使用opener去傳送一個請求
print(resp.read())