問題背景

有個童鞋在百姓網挖坑中，累啊。

他的老大告訴他，那誰誰需要58/趕集的資料。他當時的第一反應是找個黑帽去脫庫…擦嘞。

老大面對他：“嗯哼，趕集的，你上吧！有問題找xx協助一下。”

他就只能“哦”了一下…..

挖坑結束，下面填坑。

這個系列的價值

他是這樣想的：把這個當故事看會好點。但是，文筆不行，挖坑不造…這是個會點lol的六年級小學渣的隨筆。

但是，這個東西是存在的，你看或不看，它都在這，不刪不改。

對不同的人，這個東西有不同的價值。小編期待大家的評論與指教。

文章架構

第一篇： 就是你看到的嘍。那個童鞋是在有組織有計劃地危害趕集網。He is very sorry !

第二篇：爬蟲專案的架構大同小異。這篇將會從Scrapy框架的角度去分析相應的模組，同時給出一個簡單的序列結構。大的爬蟲專案應提前設計的更容易應對需求變更。別問我是怎麼知道的。

第三篇：介紹爬蟲的技術棧—selenium，xpath, mongo等。同時給出一些相應的經驗。具體的實現原理，還是推薦去讀官方文件，該篇不涉及原理。

第四篇：介紹爬蟲的操作案例—-趕集爬蟲。主要是針對招聘資訊類目的爬取。會有360個城市，484個職業類目，上百萬條資料集的爬取場景。

第五篇：介紹趕集的反爬策略，描述得出反爬策略的流程，最後提高自己的爬蟲程式的效率。

結語

與這個世界分享自己的價值，是我的想法。在追求人性本質的過程中，希望得到更多的體驗。我想我知道我在做什麼。但是，從不能對人說，我是誰，從哪來，到哪去…

沒有盡頭，是因為生命的種子本身就包含死亡。歷史總是驚人的相似，世事也總是大同小異。

歡迎大家關注我的微信公眾號“谷震平的專欄”，獲取更多技術分享資料！
開啟微信，掃一掃吧！