Python 小甲魚爬蟲代理學習
阿新 • • 發佈:2018-10-31
今天學習了小甲魚的IP地址代理,程式碼如下:
import urllib.request import random url ='http://ip.chinaz.com/' iplist=['27.18.152.111:8998','101.71.13.214:80','117.143.109.146:80']#一開始代理遇到問題,顯示與主機無法連線,問題出在代理伺服器的ip,最好去網上找最新的ip代理 proxy_support=urllib.request.ProxyHandler({'https':random.choice(iplist)}) opener=urllib.request.build_opener(proxy_support) opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')] #防止反爬蟲所以更改了為瀏覽器的訪問
urllib.request.install_opener(opener)
respose=urllib.request.urlopen(url)
html=respose.read().decode('utf-8')
print(html)
新手第一次發部落格~~~~