1. 程式人生 > >構建免費的IP池,質量差得沒法看。購買代理,又覺得暫時沒必要。所以就構建一個重連路由的工具吧。

構建免費的IP池,質量差得沒法看。購買代理,又覺得暫時沒必要。所以就構建一個重連路由的工具吧。

emmm, 最近在家寫爬蟲,遇到最多同時又繞不開的就是IP封禁。

為了對付IP封禁,我曾經嘗試了構建維護自己的IP池,從網上各大網站獲取它們提供的免費IP,

可用率簡直低得可怕。畢竟免費的大家都可以拿來用,被封了也很正常。Pass

購買代理IP,這個的卻是最簡便的方法,僅僅需要付錢後呼叫一個介面就好,

但是各大代理商的代理IP的質量參差不齊,並且速度肯定是不如自家網路的。

因此,當不需要上網只需要執行爬蟲的時候重啟自家路由,重新整理IP是最好的。

手動切換:斷線,再重連就好,這樣會隨機分配一個IP地址的。但是仍有小几率分到原來的IP地址。

            

用python寫程式切換:

其實也就跟和平時爬蟲向網頁提交請求一個意思,用開發者工具去檢視url,然後整理引數提交上去就能切換了。

由於每款路由的介面都不一樣,就感覺沒必要貼程式碼了。

PS:1. 切勿在公司用   2. 並且不要在上網的時候執行程式

        因為爬蟲被封IP的頻率很高,所以很大可能十幾秒就切換一次IP,這樣會導致整個網路癱瘓。