正如在上一篇博文中提到的那樣，同一個IP針對一個網站短時間內大量的訪問通常會導致IP被封，除了在爬取資料時增加延遲(爬取量不大或者對爬取速度沒要求)，還有一個好方法就是使用代理IP，這樣就可以完美解決IP被封的問題。

那麼，問題來了，代理的IP從哪兒來呢，土豪自然隨意，直接淘寶買一些代理IP就好，穩定也不是特別貴。但對於技術愛好者，也許並沒有那個需求，其實網上還是有很多免費的代理IP的，隨意開啟百度一搜就是，選擇第一個不是廣告的網站為例

可以看到，選擇還是蠻多的，那麼我們就從這個網站上抓取一些代理IP來使用吧，它的網址結構是'http://www.xicidaili.com/nn/'+PageNumber，每頁有50個代理IP，可以很方便的用for迴圈來爬取所有代理IP。檢視網頁原始碼，發現所有的IP和埠都在<tr class

1. import urllib2  
2. from bs4 import BeautifulSoup  
3. import csv  
4. def IPspider(numpage):  
5.     csvfile = file('ips.csv', 'wb')    
6.     writer = csv.writer(csvfile)  
7.     url='http://www.xicidaili.com/nn/'
8.     user_agent='IP'
9.     headers={'User-agent':user_agent}  
10.     for
     num in xrange(1,numpage+1):  
11.         ipurl=url+str(num)  
12.         print'Now downloading the '+str(num*100)+' ips'
13.         request=urllib2.Request(ipurl,headers=headers)  
14.         content=urllib2.urlopen(request).read()  
15.         bs=BeautifulSoup(content,'html.parser')  
16.         res=bs.find_all('tr')  
17.         for
     item in res:  
18.             try:  
19.                 temp=[]  
20.                 tds=item.find_all('td')  
21.                 temp.append(tds[1].text.encode('utf-8'))  
22.                 temp.append(tds[2].text.encode('utf-8'))  
23.                 writer.writerow(temp)  
24.             except IndexError:  
25.                     pass
26. #假設爬取前十頁所有的IP和埠
27. IPspider(10)  

1. import socket  
2. def IPpool():  
3.     socket.setdefaulttimeout(2)  
4.     reader=csv.reader(open('ips.csv'))  
5.     IPpool=[]  
6.     for row in reader:  
7.         proxy=row[0]+':'+row[1]  
8.         proxy_handler=urllib2.ProxyHandler({"http":proxy})  
9.         opener=urllib2.build_opener(proxy_handler)  
10.         urllib2.install_opener(opener)  
11.         try:  
12.             html=urllib2.urlopen('http://www.baidu.com')  
13.             IPpool.append([row[0],row[1]])  
14.         except Exception,e:  
15.             continue
16.     return IPpool  

當然，如果有更好的驗證IP可用性的方法，請告訴我，我總覺得用開啟網站的方法很蠢，而且效率也不高。