很多網站會檢測某一段時間某個IP的訪問次數（通過流量統計，系統日誌等），如果訪問的次數多得不像正常人，它會禁止這個IP的訪問。

所以我們可以設定一些代理伺服器，每個一段時間換一個代理，就算IP被禁止，依然可以換個IP繼續爬取。

1.代理的原理：在請求目的網站之前，先請求代理伺服器，然後讓代理伺服器去請求目的網站，代理伺服器拿到目的網站的資料後，再轉發給我們的程式碼。

2.http://httpbin.org：這個網站可以方便的檢視HTTP請求的一些引數。

3.urllib中通過ProxyHandler來設定使用代理伺服器，下面程式碼說明如何使用自定義opener來使用代理：

　　* 使用`urllib.request.ProxyHandler`，傳入一個代理，這個代理是一個字典，字典的key依賴於代理伺服器能夠接收的型別，一般是`http`或者`https`，值是`ip:port`。

　　* 使用上一步建立的`handler`，以及`request.bulid_opener`建立一個`opener`物件。

　　* 使用上一步建立的`opener`，呼叫`open`函式，發起請求。

from urllib import request


# 這個是沒有使用代理的
# resp = request.urlopen("http://httpbin.org/get")
 

# print(resp.read().decode("utf-8"))

# 下面是使用了代理的
handler = request.ProxyHandler({"http": "218.66.161.88:31769"})

opener = request.bulid_opener(handler)
req = request.Request(""http://httpbin.org/ip")
resp = opener.open(req)
print(resp.read())

常用的代理有：

- 西刺免費代理IP：http://www.xicidaili.com/

- 快代理：http:/www.kuaidaili.com/

- 代理雲：http://www.dailiyun.com/