我收集了大家關注爬蟲最關心的  16 個問題，這裡我再整理下分享給大家，並一一解答。

1. 現在爬蟲好找工作嗎？

如果是一年前我可能會說爬蟲的工作還是挺好找的，但現在已經不好找了，一市場飽和了，二是爬蟲要求的能力也越來越高。現在找爬蟲都需要你有一年以上的實際工作經驗，並且也要求一定的反爬能力。

2. 爬蟲薪資一般多少？

在一線城市，一年左右的爬蟲薪資大概 1W 以上，如果你能力比較強 15K～ 18K 都是沒問題的。對於剛畢業的同學來說，7K ～ 9K 之間。

3. 爬蟲一般怎麼解決加密問題

對於網頁端來說通常加密的演算法是寫在 js 程式碼裡的，所以首先你要對 js 語言有所瞭解，至少知道 js 基礎的內容。其次找到對應 js 加密程式碼，然後找出關鍵的函式。把 js 程式碼在 node.js 環境進行除錯，最後在 Python 環境下利用 execjs 庫去執行除錯好的程式碼。

第二種就是模擬瀏覽器環境直接獲取渲染後的資料，最常用的手段就是利用 Selenium 框架了。這種方式非常便利，當然對應的缺點就是效率非常低下。不過現在有新的框架來取代 Selenium，即 Puppeteer，這個框架你可以看出是非同步版的 Selenium。

4. 學會爬蟲都需要哪些方面的知識

三部分的內容：1 Python 基礎；2 爬蟲基礎；3 反爬的學習；

這三部分的內容是做爬蟲必備的知識，做爬蟲主流的語言是使用 Python，因為 Python 有非常豐富的爬蟲庫，可以直接使用非常的方便。

從入門到全棧，學習過程中有不懂的可以加入我的python零基礎系統學習交流秋秋qun：784758，214，與你分享Python企業當下人才需求及怎麼從零基礎學習Python，和學習什麼內容。相關學習視訊資料、開發工具都有分享

對於爬蟲程式我個人總結了一個萬能公式：

爬蟲程式 = 網路請求 + 資料解析 + 資料儲存

這三部分就對應這爬蟲的基礎，任何一個爬蟲程式都會儲存這三部分的內容。一些複雜的爬蟲無非是在此基礎上新增些別的內容。

一個爬蟲工程師反爬能力有多強，他的爬蟲實力就有多高。反爬的學習是爬蟲領取最難學習的部分，這部分的學習主要還是以實戰為主。有機會我在專門出篇文章講講。

5. 驗證碼的問題一般如何解決

大體的思路有兩種：

1 正向破解

比如常見的圖形驗證碼，你可以首先把圖片儲存下來，然後利用一些圖文識別圖去識別相應的內容。對於滑塊驗證碼，你可以利用 Selenium 框架去計算缺口的距離，然後模擬滑鼠拖動滑塊。

2 逆向破解

這個就涉及到驗證碼的實現邏輯，你需要看懂對方驗證碼實現的邏輯，看看傳送驗證碼請求的時候需要哪些引數，而這些引數又是怎麼生成的，模擬請求。逆向破解屬於短暫型的省力做法，但相應的難度非常的大。

3 直接使用打碼平臺

上面說兩種方式都屬於非常耗時耗力的行為，而且一旦對方網站反爬策略更新，你的程式碼就會失效。所以能花錢解決的事，大家就選擇直接使用打碼平臺就好。

6. 幹爬蟲，會進局子嘛？

涉及個人敏感資訊，抓取超過 1K 條以上就構成違法犯罪的行為。很多爬蟲屬於灰色的地帶，只要你不太高調和多於過分，對方是不會追究什麼的。所以大體來說準守原則，低調行事，是不會進局子的。

7. 去哪找爬蟲的小單子，想掙個電話費

爬蟲的私活不建議大家做，收益低，還非常的耗自己的精力。付出和收入不成正比。

8. 無爬蟲經驗，怎麼找到第一份工作

無爬蟲經驗是無法找到工作的，但爬蟲的經驗並不說一定要實際做個爬蟲的工作才算。只要你自己有爬過任何一個網站，你就有爬蟲的經驗。所以你想要找到一份爬蟲的工作，一定要實際去找些網站進行爬取。模仿別人的專案，嘗試自己寫些爬蟲程式碼，總結遇到的坑點。多爬幾個網站之後，你就有了自己的爬蟲經驗，這時候在刷些面試題，就很容易找的到工作。

9. 現在 Python 各領域前景如何

Python 領域最有前景的就是 AI 人工智慧方向，其次是 Python 後臺，web 前端，資料分析，最後就是爬蟲。

10. 如何使用 Python 打造一個高 Star 專案

給大家提供兩種思路：

1 資源整合

對於技術不是很好的同學來說，你就可以整理 Python 領域相關的所有乾貨，比如 Python 經典書籍，Python 演算法大全，Python 經典的文章等等。做最全的資源合集專案。

2 開發實用的專案

如果你的技術能力非常強，那你就多留意實際生活中遇到的痛點，針對這個痛點開發出一個實用的專案。

11. 自學到啥程度能找工作

我最初在學習爬蟲的時候，我把爬蟲所需要學習的內容都做了一個思維導圖，如果你把下面的思維導圖的內容全部學完，就能找到工作。

12. 爬蟲面試資料

學習過程中有不懂的可以加入我的python零基礎系統學習交流秋秋qun：784758，214，與你分享Python企業當下人才需求及怎麼從零基礎學習Python，和學習什麼內容。相關學習視訊資料、開發工具都有分享

13. 如何用 Python 創造睡後收入

這個話題就可以單獨在開個快閃群，我自身在上海工作了一年多的時間裡，是沒有花過一分工資的。這裡就不在展開，等我下期的快閃活動在給大家分享。

14. 爬取過程中資料需要做簡單去重、確定資料是否符合要求嗎

資料的一些去重和格式的規範，都是以你具體的業務需求來定的。一般來說爬蟲爬下來的資料是要進行去重的處理，然後轉換成和別的組定義好的資料格式，以便其他人使用。

15. 爬蟲在工作中的主要任務

爬蟲的日常工作就是爬取資料，再者就是維護現有的爬蟲程式碼，使其能正常執行。

16. 學到爬蟲後期是打算轉機器學習還是資料分析 or 後端開發？

爬蟲是一個適合做技能，不適合做職業發展的方向。所有如果你想學爬蟲並且未來想靠爬蟲吃這碗飯，你一定要把逆向、js 破解、分散式、非同步學透。後期如果你不想繼續學爬蟲，那你在入行爬蟲的時候就要想好，你未來想走什麼方向。是資料分析、後端開發、還是機器學習，一定要在你自身感興趣的前