1. 程式人生 > >爬蟲IP池驗證IP是否可用(簡單易懂)

爬蟲IP池驗證IP是否可用(簡單易懂)

IP池驗證IP是否可用

使用requests模組演示程式碼
具體的ip池這裡就不演示了,無非就是在代理的網站爬取收集大量的ip進行儲存,並沒有很大的難度,這裡主要演示驗證IP可用性的方法。

import requests

url = "http://www.baidu.com/"
proxies = {"http": "http://x.x.x.x:埠號碼"}
#空白位置為測試代理ip和代理ip使用埠

headers = {"User-Agent": "Mozilla/5.0"}
#響應頭
res = requests.get(url, proxies=proxies, headers=
headers) #發起請求 print(res.status_code) #返回響應碼

正常有效的可用代理ip返回的應該是響應碼200
大家可以去隨便找個IP埠測試一下

當IP端口出現問題時,程式無法正常執行就會丟擲異常,這樣我們就可以通try-except語句捕捉異常狀態,通過對程式的正常異常流程走向,來判斷IP是否可用

錯誤IP演示

這是一個非常簡單的驗證方法,將以上程式碼封裝成函式就可以拿來驗證ip是否可以使用,用過判斷,就可以將可用IP和不可用IP區分開來,從而高效的利用代理池。