Python現在這麼火，相信每個學Python的同學都非常關心學好Python到底能賺多少錢，薪水高不高呢，Python有哪些大的公司，都是哪些崗位在招人.於是第一步我爬取了拉勾所有的Python相關的崗位，我們用資料說話，小夥伴一起看一下吧.

1

爬蟲思路分析

招聘網站非常多，有51job,拉勾網，Linkedin等等，因為Python偏網際網路，所以我選擇爬取拉勾網的資料.

但是發現拉勾網需要驗證嗎，試著登入進去之後，發現網頁的資料都是Ajax方式的資料，不是非常好爬取。

於是我們退而求其次，選擇手機網站爬取，相對容易一些.

2

動手爬取資料

爬蟲的庫和方法非常多，這裡我選擇用selenium的方式，模擬登入繞過反爬蟲的機制來獲取資料.

首先要保證你的電腦上安裝了selenium環境和chrome瀏覽器，當然firefox也可以，只是我個人習慣用selenium，哈哈。

1.進入搜尋頁面，輸入Python

2.獲取Python相關崗位

3.網頁分析

我們可以用BS解析資料，也可以用PyQuery解析資料，這次我換一個口味，以前我一直習慣用bs解析，這次爬取我用了PyQuery發現還不錯，用的蠻爽的.

3

開始寫程式碼

整個的程式碼量非常小，大概只有70行左右，非常適合小白練手.

1.啟動Selenium登入拉勾

2.爬取頁面

每一個頁面主要關心的招聘網頁，薪資待遇，公司名稱和釋出時間

當然還要翻頁:

load page:1

載入中...

load page:2

載入中...

load page:3

載入中...

。。。

load page:47

載入更多

load page:48

載入中...

load page:49

載入中...

load page:50

載入中...

load page:51

載入更多

load page:52

載入中...

load page:53

載入中...

3.資料儲存

這裡我們選擇最簡單的存為json格式的資料，方便後面的資料分析.

一共100多頁資料，總共1552個崗位，設計全國10幾個的城市的所以Python資料，下面是部分資料的展示：

結論：

python資源免費分享，資深講師每天免費教學，零基礎，進階學習視訊都有哦，歡迎大家加入python學習交流qq群 233539995

今天只篇只是開個頭開胃菜，熟悉我的文章的同學應該知道，資料分析才是王道，後面我寫一篇所有Python崗位的薪資，地域和崗位要求年限等詳細資料分析報告，大家敬請期待吧！