1. 程式人生 > >資料分析、資料探勘、演算法工程師、大資料分析師的區別是什麼?爬招聘網站用資料來全方位分析

資料分析、資料探勘、演算法工程師、大資料分析師的區別是什麼?爬招聘網站用資料來全方位分析

大資料行業經過幾年的發展和沉澱,大資料專案崗位細分領域已經趨於完善,本文主要探討在大資料分析這個領域,通過爬蟲爬取各個招聘網站的相關資料,對細分崗位進行深入分析,本文的呈現,感謝科多大資料資料分析培訓班第10期學員“NO.1”團隊的技術支援。

此次分析結果呈現經歷三個階段:

  1. 細分查詢目標
  2. 確定資料來源獲取範圍
  3. 資料清洗、準備
  • 資料來源獲取的比例,分別來自拉勾、智聯、51job等等網站,如下如:

  • 每一個細分崗位進行分析

  1. 資料分析

  • 資料分析|定義:資料分析是指用適當的統計分析方法對收集來的大量資料進行分析,提取有用資訊和形成結論而對資料加以詳細研究和概括總結的過程。

    基於業務,通過資料分析手段發現和分析業務問題,為決策作支援

  • 資料分析|崗位描述:

  • 資料分析|爬取資料整理,所有資料存放在excel,見下圖

 

  • 資料分析|詞雲統計

 

  • 資料分析|具體技能要求

 

  1. 資料探勘

  • 資料探勘|定義

資料探勘是通過分析每個資料,從大量資料中尋找其規律的技術,主要有資料準備、規律尋找和規律表示3個步驟。資料探勘的任務有關聯分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。

偏技術,通過建立模型、演算法、預測等提供一些通用的解決方案,當然也有針對某業務的

  • 資料探勘|崗位描述

  • 資料探勘|爬取資料整理,存放在excel

  • 資料探勘|詞雲統計

  • 資料探勘|具體技能要求

  1. 演算法工程師

  • 演算法工程師|定義

1、研究新演算法或者在現有演算法的基礎上做優化。這時需要讀一些研究論文,並針對自己所面對的應用場景,做專門的新型演算法研究及對現有演算法進行改進。
2、工程開發:將構建的演算法通過程式碼實現,在資料集上進行測試,檢驗效果。
3、演算法調整、引數調優。對於大部分的演算法,構建好模型、程式碼實現只是最初的一步,更多的工作量是在對演算法模型進行調整、引數進行調優,從而可以使得自己構建的演算法可以更加匹配你所分析的資料,達到最優的效果。

跑資料,跑資料,跑資料。。

 

  • 演算法工程師|崗位描述

  • 演算法工程師|爬取資料,存放excel

  • 演算法工程師|詞雲統計

  • 演算法工程師|具體技能要求

  1. 大資料分析師

  • 大資料分析師|定義

  • 大資料分析師|崗位描述

  • 大資料分析師|爬取資料,存放excel

  • 大資料分析師|詞雲統計

  • 大資料分析師|具體技能要求

第三:大資料行業資料分析崗位多方位分析

  1. 百度指數

  1. 國家政策

  • 2003年,國家資訊產業部根據國家財政部、國家發展和改革委員會關於規範長期投資專案資料分析方法、與國際接軌的總體精神,制定出了我國專案資料分析專業技術考試管理辦法,加快了我國資料分析專業人才培養步伐。
  • 2008年6月,資料分析行業的全國性唯一行業組織——中國商業聯合會資料分析專業委員會正式成立,為我國資料分析行業發展開新篇。
  • 2011——工信部把資訊處理技術作為四項關鍵技術創新工程之一,其中包括了海量資料儲存、資料探勘、影象視訊智慧分析等大資料重要組成部分。
  • 2014——資料開放運動已覆蓋全球44個國家。國務院通過《企業資訊公示暫行條例(草案)》,要求在企業部門間建立互聯共享資訊平臺,運用大資料等手段提升監管水平。
  • 2015——五中全會的“十三五”規劃中將大資料作為國家級戰略
  1. 成都大資料產業劃分
  • 增強成都“五中心一樞紐”的功能為導向,圍繞“東進、南拓、西控、北改、中優”城市空間發展戰略,統籌區域優勢產業和空間佈局。
  • 形成“一核兩帶”的大資料產業佈局:
  • “一核”:依託成都天府軟體園大資料研發基礎,向成都科學城和成都物聯網產業園延伸,憑藉國內外創新資源和大型資料中心聚集優勢,形成覆蓋成都高新區、天府新區和雙流區的大資料研發運營核心聚集區。
  • “兩帶”:“產業創新引領帶”和“智慧應用發展帶”。
  1. 平均薪資

    1. 薪酬漲幅表

    不同工種年限薪資漲幅不同,如下圖

    資料分析學歷佔比情況

    挖掘工程師不同工作年限的薪資漲幅

    資料探勘工程師學歷佔比

    演算法工程師不同工作年限的薪資漲幅

    演算法工程師的學歷佔比

    大資料分析師學歷佔比

    本文通過爬取各大招聘網站對大資料分析行業細分崗位進行了,全方位、多角度的分析,希望對想加入大資料行業的小夥伴一些指導和幫助,大資料分析針對不同專業、不同學歷的人都報以開放接納包容的態度,只要堅持學習。