一起學爬蟲——一步一步打造爬蟲代理池
最近在使用爬蟲爬取資料時，經常會返回403程式碼，大致意思是該IP訪問過於頻繁，被限制訪問。限制IP訪問網站最常用的反爬手段了，其實破解也很容易，就是在爬取網站是使用代理即可，這個IP被限制了，就使用其他的IP。對於高大上的公司來說，他們基本都使用收費的代理，基本不會有什麼問題，比較穩定。像我這樣的矮矬窮，肯定是用不起收費的代理。一般都是使用國內免費的代理，網上也有很多提供免費的代理。
很多人都是從網上爬取一批免費的代理IP，存放在儲存媒介中，例如excel檔案或者資料庫。定時維護代理，保證代理可用。這個做法有個缺點，有些機器上並沒有裝有excel或者mysql、redis等資料庫，這就導致了的代理池無法正常使用。
我之前是做java開發的，經常會把一些常用的資料放在ArrayList中，使用起來非常方便，效率高，因此借鑑之前在java方面的經驗，將代理IP爬取下來存放在list列表中中，將list列表當做一個代理池，經常維護這個池裡的代理。
我經常爬取免費代理的網站xicidaili
swei360等，這些免費的代理足夠我使用了，能夠應付大多數的爬蟲工作。爬取過程需要用到requests和pyquery庫，沒有安裝的同學自行安裝。
首先介紹下爬取xicidaili網站的過程，
要先定義一個方法用於抓取xicidaili網站的，引數有兩個，一個是url，另外一個是要爬取代理網頁的頁數，也就是要爬幾頁，方法如下：
def get_xicidaili_proxy(url,page): for i in range(1,page): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"} response = requests.get(url + str(i), headers=headers) html = response.text doc = pq(html) ip_list = doc('#ip_list')('tr:gt(0)').items() for item in ip_list: ip = item.find('td:nth-child(2)').text() port = item.find('td:nth-child(3)').text() http_type = item.find('td:nth-child(6)').text() proxy_ip = http_type + "://" + ip + ":" + port if http_type == 'HTTP': http_proxy_pool.append(proxy_ip) elif http_type == 'HTTPS': https_proxy_pool.append(proxy_ip) # print(proxy_ip)
定義了http_proxy_pool和https_proxy_pool兩個list變數，用於儲存http型別和https型別的代理。 使用PyQuery根據css偽選擇器提取出ip，埠和http型別資訊，並按照http:// + ip+port的方式組合成一個字串，儲存在已經定義好的http_proxy_tool和https_proxy_pool變數中。
爬取swei360網站代理的方法就不貼出來了，原理和爬取xicidaili網站是一樣的。
一個代理在使用之前要判斷是否可用，我們使用request的get請求的返回程式碼判斷代理是否可用，返回200，就說明代理可用，返回其他的程式碼就表示代理不可用，程式碼如下：
def detect_proxy(test_url,http_type,proxy):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
proxy={
http_type : proxy
}
try:
response = requests.get(test_url,proxies=proxy,headers=headers)
if response.status_code in [200]:
print('代理可用',proxy)
return True
else:
print('代理不可用', proxy);
delete_proxy(http_type,proxy)
return False
except(requests.exceptions.ProxyError,RequestException):
print('代理不可用', proxy)
delete_proxy(http_type, proxy)
return False定義了detect_proxy方法用於檢測代理是否可用，有三個引數，分別是測試網址，代理型別(http和https)和代理IP。當requests的請求返回200程式碼時，就表示該代理可用，返回True，否則就是不可用，返回False。當遇到request異常或者其他的錯誤也認為代理不可用，返回False。對於不可用的代理，要從代理池中刪除。
從代理池中獲取代理時，我們使用的是從代理池中隨機返回一個代理，這樣就避免經常使用一個代理，從而遭到拒絕訪問。程式碼如下：
def get_https_proxy():
proxy_ip = random.choice(https_proxy_pool)
return proxy_ip
def get_http_proxy():
proxy_ip = random.choice(http_proxy_pool)
return proxy_ip為了保證代理的可用，當檢測到一個代理不可用時，要及時的清理掉。就是從http_proxy_pool和https_proxy_pool列表中刪除。
一個簡單的爬蟲代理池已經搭建好,總結下爬蟲代理池搭建的過程：
- 從免費的代理網站上爬取代理資訊，存放在列表中。
- 提供從代理池中隨機獲取代理的方法。http型別的網站要使用http型別的代理，https型別的網站要使用https型別的代理，因此分別提供獲取http和https型別代理的方法。
- 提供檢測代理是否可用的方法，代理可用返回True，不可用返回False。
- 提供刪除代理的方法。
這個代理池其實相當的簡單，有一個弊端就是在檢測代理是否可用時，如果返回的不是200程式碼就認為代理不可用，返回其他程式碼的情況有很多，例如網路不可用、測試網站不可訪問等。比較好的做法是給每個代理設定一個分值，例如10分，如果檢測到不可用就減1，當分數為0時，就確定該代理不可用，直接從代理池中移除。檢測到代理可用，就將分數設為10分。這種做法給每個檢測到不可用代理一個改邪歸正的機會，不至於一刀切的拋棄掉。
完整程式碼請加我的公眾號，回覆"代理"獲取。
用心寫好每篇技術文章
作者：Summer哥
出處：www.bigdata17.com