01 起

大資料行業持續升溫，越來越多的人才湧進這個行業。

想知道這個行業需要什麼樣的人才麼？

大資料的問題就交給大資料去完成吧~~

我們按特定的職位名稱，爬取了拉勾網上成都地區所有大資料相關職位的招聘資訊，並對這份資料做了多維度分析，得到了很多有價值的資訊，構成了一份大資料人才市場分析報告。

本文節選報告第四章內容，對5類大資料相關職位的職位要求進行文字分析，給出人才市場上對這5類職位的能力(ability)要求和技能(skill)要求，供大家餐參考。

一起來看看吧！

02 分析方法

原始資料經標準化處理後，有11類職位，釋出的職位數如下表所示， 我們選取職位數大於100的職位以及資料探勘職位進行分析。

在這裡我還是要推薦下我自己建的大資料學習交流群：805127855，群裡都是學大資料開發的，如果你正在學習大資料 ，小編歡迎你加入，大家都是軟體開發黨，不定期分享乾貨（只有大資料開發相關的），包括我自己整理的一份2018最新的大資料進階資料和高階開發教程，歡迎進階中和進想深入大資料的小夥伴。

資料處理流程如下，主要利用python的jieba分詞：

載入自定義詞典（提取各類職位的職位描述關鍵詞n,v詞性TOP100，人工篩選(組合、刪除詞語)生成一個詞典）

利用dict(zip())和原始資料，生成{職位:職位描述}字典

利用dictionary.get(key,None)將相同的key對應的value字串聯結

利用jieba.analyse.extracr()提取各類職位的職位描述長文字的名詞、動詞高頻詞，作為該職位的能力相關要求

利用jieba.posseg.cut()以及flag詞性篩選和dictionary.get(key,0)對字母單詞計數，並降序排列，作為該職位的技能相關要求

一波操作之後，我們得到演算法工程師、資料探勘、資料分析師、Java工程師、前端工程師這五類職位的能力要求。

03 職位能力需求分析

3.1 演算法工程師

演算法工程師能力要求(左圖)主要集中在模型、數學、程式設計等偏理論性的能力上；技能要求(右圖)主要集中在Matlab、Hadoop、Java、Python等偏數學統計、資料庫、建模等方面的軟體或語言上。

3.2 資料探勘工

資料探勘能力要求主要集中在建模、聚類、分類、統計、迴歸、文字處理、標籤等偏實際應用的方面；技能要求主要集中在Python、SQL、SAS等偏挖掘、統計的工具上，對於Hadoop等資料庫相關的技能要求沒有演算法工程師那麼多。

3.3 資料分析師

資料分析師能力要求主要集中在行業分析、報表統計、報告專項等方面，要求具有較高的業務思維和對行業的深刻理解；技能要求主要集中在Excel、SQL、PPT等偏展示性的工具上，對於python等技能的要求沒有資料探勘多。

3.4 Java工程師

Java工程師能力要求主要集中在程式設計、架構設計、資料庫、分散式等方面；技能要求主要集中在Java、Spring、Linux、Oracle、HTML等方面，更加偏向於底層語言。

3.5 前端工程師

前端能力要求主要集中在視覺化、網頁、瀏覽器、工程化等方面；技能要求主要集中在CSS、Web、UI、HTML、Javascript等方面，與Java工程師的技能要求差異明顯。

04 總結

以上分析僅分析了幾個釋出職位數較多的崗位，對其職位要求的長文字進行了分析，給出了各崗位的能力要求和技能要求，作為求職者或是招聘方的參考，也可以繼續進行時序分析（需要不同時間點的資料），從而洞察各類崗位人才能力需求的變動情況。

比如可以檢測資料探勘的技術動向，如出現越來越多的NLP（自然語言處理）相關的職位要求。

以上分析較為粗淺，僅供大家參考~

對了，基於本次成都地區拉勾網的招聘資料，我還做了一個人才價格計算器，

人才價格計算器

輸入你的求職職位、求職公司規模、你的工作年限、學歷等資訊，就可以估算你在成都地區的市場均價

更多程式設計方面的分享請關注微信公眾號：程式設計師交流互動平臺。