1. 程式人生 > 實用技巧 >爬蟲第三天:01-money-proxy-handler代理池

爬蟲第三天:01-money-proxy-handler代理池

import urllib.request

#付費的代理髮送
#1.使用者名稱密碼(帶著)
#通過驗證的處理器來發送

def money_proxy_use():
    # #第一種方式付費代理髮送請求
    # #1.代理ip
    # money_proxy ={"http":"username:[email protected]:8080"}
    # #2.代理的處理器
    # proxy_handler=urllib.request.ProxyHandler(money_proxy)
    #
    # #3.通過處理器建立opener
    # opener = urllib.request.build_opener(proxy_handler)
# #4.open傳送請求 # opener.open("http://www.baidu.com") # #第二種方式傳送付費的ip地址 use_name = "abcname" pwd = "123456" proxy_money = "123.158.63.130:8888" #2.建立密碼管理器,新增使用者名稱和密碼 password_manager = urllib.request.HTTPPasswordMgrWithDefaultRealm() #uri定位 uri>url #url 資源定位符 password_manager.add_password(None,proxy_money,use_name,pwd)
#3.建立可以驗證代理ip的處理器 handle_auth_proxy = urllib.request.ProxyBasicAuthHandler(password_manager) #4.根據處理器建立opener opener_auth = urllib.request.build_opener(handle_auth_proxy) #5.傳送請求 response = opener_auth.open("http://www.baidu.com") print(response.read()) #爬取自己公司的資料,做資料分析 #
admin money_proxy_use()