如何應對網站反爬蟲策略？如何高效地爬大量資料?
爬蟲(Spider)，反爬蟲(Anti-Spider)，反反爬蟲(Anti-Anti-Spider)，這之間的鬥爭恢巨集壯闊...
Day 1
小莫想要某站上所有的電影，寫了標準的爬蟲(基於HttpClient庫)，不斷地遍歷某站的電影列表頁面，根據 Html 分析電影名字存進自己的資料庫。
這個站點的運維小黎發現某個時間段請求量陡增，分析日誌發現都是 IP(1.1.1.1)這個使用者，並且 useragent 還是 JavaClient1.6 ，基於這兩點判斷非人類後直接在Nginx 伺服器上封殺。
Day 2
小莫電影只爬了一半，於是也針對性的變換了下策略：1. useragent 模仿百度("Baiduspider...")，2. IP每爬半個小時就換一個IP代理。
小黎也發現了對應的變化，於是在 Nginx 上設定了一個頻率限制，每分鐘超過120次請求的再遮蔽IP
Day 3
小莫發現了新的限制後，想著我也不急著要這些資料，留給伺服器慢慢爬吧，於是修改了程式碼，隨機1-3秒爬一次，爬10次休息10秒，每天只在8-12，18-20點爬，隔幾天還休息一下。
小黎看著新的日誌頭都大了，再設定規則不小心會誤傷真實使用者，於是準備換了一個思路，當3個小時的總請求超過50次的時候彈出一個驗證碼彈框，沒有準確正確輸入的話就把 IP 記錄進黑名單。
Day 4
小莫看到驗證碼有些傻臉了，不過也不是沒有辦法，先去學習了影象識別
小黎是個不折不撓的好同學，看到驗證碼被攻破後，和開發同學商量了變化下開發模式，資料並不再直接渲染，而是由前端同學非同步獲取，並且通過 js 的加密庫生成動態的 token，同時加密庫再進行混淆（比較重要的步驟的確有網站這樣做，參見微博的登陸流程）。
Day5
混淆過的加密庫就沒有辦法了麼？當然不是，可以慢慢除錯，找到加密原理，不過小莫不準備用這麼耗時耗力的方法，他放棄了基於 HttpClient的爬蟲，選擇了內建瀏覽器引擎的爬蟲(關鍵詞：PhantomJS，Selenium)，
小黎：.....
爬蟲與發爬蟲的鬥爭還在繼續。
不過實際應用時候，一般大家做到根據 IP 限制頻次就結束了，除非很核心的資料，不會再進行更多的驗證，畢竟工程的問題一半是成本的問題。
至於高效部分，一些 Tips：
1.儘量減少請求次數，能抓列表頁就不抓詳情頁
2.不要只看 Web 網站，還有 App 和 H5，他們的反爬蟲措施一般比較少
3.如果真的對效能要求很高，可以考慮多執行緒(一些成熟的框架如 scrapy都已支援)，甚至分散式
另外，想深入研究爬蟲/反爬蟲的同學，可以把簡歷發過來： shenyubao<At>http://souche.com ，本廣告長期有效。