爬蟲第三天:01-money-proxy-handler代理池
阿新 • • 發佈:2020-07-09
import urllib.request #付費的代理髮送 #1.使用者名稱密碼(帶著) #通過驗證的處理器來發送 def money_proxy_use(): # #第一種方式付費代理髮送請求 # #1.代理ip # money_proxy ={"http":"username:[email protected]:8080"} # #2.代理的處理器 # proxy_handler=urllib.request.ProxyHandler(money_proxy) # # #3.通過處理器建立opener # opener = urllib.request.build_opener(proxy_handler)# #4.open傳送請求 # opener.open("http://www.baidu.com") # #第二種方式傳送付費的ip地址 use_name = "abcname" pwd = "123456" proxy_money = "123.158.63.130:8888" #2.建立密碼管理器,新增使用者名稱和密碼 password_manager = urllib.request.HTTPPasswordMgrWithDefaultRealm() #uri定位 uri>url #url 資源定位符 password_manager.add_password(None,proxy_money,use_name,pwd)#3.建立可以驗證代理ip的處理器 handle_auth_proxy = urllib.request.ProxyBasicAuthHandler(password_manager) #4.根據處理器建立opener opener_auth = urllib.request.build_opener(handle_auth_proxy) #5.傳送請求 response = opener_auth.open("http://www.baidu.com") print(response.read()) #爬取自己公司的資料,做資料分析 #admin money_proxy_use()