1. 程式人生 > >【觀點】有一種說法,演算法工程師的薪酬只有三檔(附大資料工程師技能圖譜)

【觀點】有一種說法,演算法工程師的薪酬只有三檔(附大資料工程師技能圖譜)

本文從當前炙手可熱的演算法工程師就業開始講起,詳細的和朋友們探討一下,普通程式設計師如何轉型成為演算法工程師?

先談錢。

有一種說法,演算法工程師薪酬區間基本就是三擋:
在這裡插入圖片描述
薪酬範圍
人才背景
能力特徵
15~30W
科班畢業的數學系碩士研究生或有ACM銅獎以上
熟悉通用的模型,知道如何用合適的模型去做資料
40~60W
即上述的優秀畢業生在BAT等公司沉澱兩三年後實際身價,基本對應到阿里的P6,騰訊的T3.1或者國內那TOP 5學校的博士畢業生,基本有三篇一作
會改造設計模型,並對新的模型進行最優化
100W+
基本就是行業科學家級別,或者對應阿里的P7/P8,百度的T7以上,騰訊的T3.2以上或者相當於姚班的IOI金牌,比如今年的陳立傑和範浩強
根據一個實際問題需求,可以給出量化的目標函式

對程式設計師而言,技術進步大大超過我們的想象,如果你不跟隨時代進步,就會落後於時代。

似乎我們公認的程式設計師就是苦逼的碼農搬運工,結果等磨到三到五年後,發現自己的技術已經落後,掌握的語言已經過時。看著曾經的同事都走上了有車有房的幸福之路,自己也蠢蠢欲動想要轉崗,卻摸不著頭腦,是自學or上培訓班?

這裡,我們以當前熱門的大資料相關崗位分析為例:

從大資料資訊分別從底層基礎平臺、中間層通用技術、上層行業應用進行歸納
在這裡插入圖片描述
技術分類
行業概述
底層:基礎平臺
提供包括資料儲存在內基礎設施,Hadoop是其中最熱門領域
中層:通用技術
資料管理相關技術,連線資料來源與資料處理之間橋樑,包括資料採集、資料分析,視覺化等資料處理技術
上層:行業應用
將資料與垂直行業進行融合,如徵信、反欺詐、刑偵破案,營銷推薦等

大資料崗位爆發背景

  1. 處理器速度的加快,大規模資料處理技術的日漸成熟,使得在Big Data中快速提取有價值資訊成為可能。現在,PB級別的資料也可以在短時間內完成機器學習的模擬訓練。這讓包括Face++、科大訊飛等這些高度依賴深度學習的影象、語音識別公司得以對產品進行快速迭代;

  2. 網際網路行業的快速發展,使得很多企業都儲存了海量資料,如何挖掘這座資料寶庫,也推動了大資料本身發展;

  3. 同樣,也衍生出很多資料相關公司發展,比如通過監測海量資料,做資料價值變現的TalkingData等,以及做底層架構的支援服務商阿里雲、UCloud等等;

各方面的需求導致目前人才供給相對不足,供需失衡決定大資料從業人員待遇更高。同樣的,這些崗位相對於傳統軟體工程,也有更高的挑戰空間和更大難度,也吸引更多人才進入到這個領域
在這裡插入圖片描述


在這裡插入圖片描述
分類
應用板塊
代表企業
行業綜述
文字挖掘
大資料公司通過收集網際網路上各類文字資訊,為企業提供更好的競爭分析、公關、使用者調研等
智慧星光
波森資料
清博大資料
與網頁爬蟲類似,由於百度、谷歌在搜尋引擎領域技術太明顯,根本沒機會
網頁爬蟲
早期百度、谷歌等搜尋引擎都在使用。
八爪魚

廣告監測類
主要針對品牌客戶,為企業提供廣告營銷全流程的資料分析
秒針系統
AdMaster
TalkingData
秒針與AdMaster佔據95%市場份額
TalkingData主要針對中小企業,為中小APP軟體提供廣告監測在內多項運營服務
BI商業智慧
更側重人機互動,將報表形式以影象方式呈現出來
永洪科技
帆軟
單純BI與資料視覺化工具,競爭優勢並不大,因為其開源透明,技術門檻低,所以更多是向上層偏移,將技術與行業應用結合,形成行壁壘,比如永洪、海雲等都在積極對接業務,重點佈局公安、電信等行業,加強客戶黏性
資料視覺化
與BI一致,將報表形式以影象方式呈現出來,更側重於資料呈現,給企業客戶更清晰展示
海智BDP
海雲資料
數字冰雹

日誌分析
早期更多運用於資訊保安領域;現階段也開始衍生到企業業務領域,比如反欺詐等
除了傳統安全公司,
新公司還包括日誌易,瀚思安信
也是面臨行業開源,技術門檻不高,可以關注物聯網發展,將日誌資料衍生到機器資料
移動統計
隨著移動網際網路興起而興起
TalkingData
友盟+

使用者行為
既有掘金者,自然也有給掘金者送水的這兩類
GrowingIO
神策資料
諸葛IO
最大問題是移動網際網路客戶是否接受付費模式

演算法&資料探勘工程師——核心在於資料的價值挖掘

  1. 演算法工程師——這類團隊面對的問題通常是明確而又有更高難度的,比如人臉識別、線上支付的風險攔截。這些問題經過了清晰的定義和高度的抽象,本身又存在足夠難度,因此需要求職者在所研究問題上有足夠的專注力,對相關演算法有足夠深度的瞭解。

  2. 資料探勘工程師——這類團隊面對的挑戰不限於一個具體問題,而在於如何將複雜的業務邏輯轉化為演算法、模型問題。因此不但要求工程師在演算法上探索得足夠深,但需要足夠的交叉能力。需要了解常見的機器學習演算法,同時也要有迅速理解業務的能力。

從企業對崗位的要求,我們可以分析出:
在這裡插入圖片描述
崗位名稱
市場人才現狀
崗位要求分析
演算法工程師
人才基本被TOP企業壟斷。因為TOP企業資料量很大,比如做一個幾億級別的人臉搜尋

  1. 資料結構和演算法板塊需要有紮實基礎;
  2. 至少精通C/C++或Java任
    一種程式語言,Python/
    perl/shell中任一種指令碼語
    言;
  3. 數學專業碩士及以上,有
    一定數學功底(加分項)
  4. 精通機器學習常用演算法
    (加分項)
    資料探勘工程師
    不僅需要在演算法上沉澱很深,還需要具備交叉技能,能理解業務
  5. 紮實的計算機基礎,熟悉C/C++、Java、Python等開發語言;
  6. 具備深厚的機器學習,數
    據挖掘,資訊檢索背景,
    有較強的演算法能力;
  7. 具備大規模資料探勘、自
    然語言處理、機器學習、
    Hadoop平臺經歷(加分)4. 計算機相關專業碩士學歷

實際中,在涉及大資料團隊搭建時,可以借鑑:

  1. 可以不求全才,但要求團隊成員各有所長,整體可形成配合

比如,以格靈深瞳為例,作為一家計算機視覺領域的大資料公司,團隊中既需要對演算法進行過透徹研究的人才,也需要工程實力比較強的人才,或幫團隊搭建一整套視訊影象資料採集、標註、機器學習、自動化測試、產品實現的平臺;

所以,對前一種工程師,需要在深度學習演算法甚至在計算視覺領域都有過深入研究,程式設計能力可以稍弱一點;而對於後一種工程師,如果他擁有強悍的工程能力,即使沒有在深度學習演算法上進行過深入研究,也可以很快接手對應工作;

同樣的,即使在演算法工程師團隊內部,不同成員之間的技能側重點也可能各不相同

以個性化內容推薦諮詢平臺——一點資訊為例,演算法團隊中,一部分工程師會專注於核心演算法問題研究(比如解決一個非常明確問題,如通過語義分析進行文章分類問題,如判斷標題黨的問題等等,需要有足夠深度的瞭解);另一部分工程師會專注於演算法模型在產品中應用(對業務變化非常敏感,具有強悍的分析能力,能從複雜業務中理出頭緒,將業務問題抽象為演算法問題,並利用合適模型去解決)

所以,兩者一個偏重核心演算法研究,一個偏重業務分析與實現。

從高校畢業生來源看:

為演算法工程師貢獻的TOP5高校分別是 哈工大、北郵、中科院、中科大、浙大
TOP~TOP10分別是電子科大、北大、北航、清華和華中科大,而海歸人才佔比不到5%

如何轉型到演算法工程師

隨著人工智慧的爆發式發展,以及深度學習、機器學習在使用工具上門檻已經降低

以國內一線網際網路公司校招和社招人員來看,其往往還是更看重從業者背景:

  1. 校招——必須是科班碩士生或者海歸,要能有不錯的程式碼能力,對機器學習有一定了解和研究經歷;當然針對演算法工程師面試,BAT也會要求筆試,基本就是leetcode中等題水平;換言之,一個工作三年通過自學或者參加培訓班轉型到演算法工程師領域同一個應屆生競爭同一個工作機會,一線網際網路公司往往還是更鐘情於應屆學生;

  2. 社招——演算法工程師崗位畢竟更偏學術派,從目前社招企業要求看,如果是非科班背景而言,企業往往更看重求職者的程式設計能力(這也是基於目前人才市場供給嚴重不足導致),而業內很多企業其實都會借用校友圈這個更偏學術交流的圈層進行招聘。比如通過請高校學術大佬擔任首席科學家,他的博士學生“順帶”也會全部打包過來;

所以除非是特別想在演算法領域真有所作為,不是特別建議在找工作中途轉型,畢竟這個領域還是更偏學術派。

這個領域的在職人員背景相比而言就寬泛多了,我們不乏看出從程式設計師、運營崗甚至法務崗都有成功轉型的,從事資料分析對程式設計要求相對不是特別高,但是對於跨行業泛知識要求有很深認識。不過,也有很大的不同:

日常資料分析工作主要就是SQL提數,活動效果跟蹤以及寫資料報告等工作,但是在轉型到資料探勘(尤其一線網際網路公司)中,往往都需要涉及到資料探勘的底層設計和應用。

不過目前國內資料探勘的人才供給不足,很多企業往往也會降低要求或者有意識調整工作內容和權重,給出的建議:

  1. 提升資料視覺化能力和資料分析報告撰寫能力,掌握多種可以進行輔助資料分析的工具以及熟悉常用的模型,未來可以往資料分析程式設計師或者資料產品經理轉型

  2. 掌握Python或者R語言,熟悉Hadoop等資料庫,熟練掌握資料分析工具,也可以嘗試往資料探勘領域更靠近一點
    對大資料的概念都是模糊不清的,大資料是什麼,能做什麼,學的時候,該按照什麼線路去學習,學完往哪方面發展,想深入瞭解
    想學習的同學歡迎加入大資料學習qq群:458345782,有大量乾貨(零基礎以及進階的經典實戰)分享給大家
    並且有清華大學畢業的資深大資料講師給大家免費授課,給大家分享目前國內最完整的大資料高階實戰實用學習流程體系 。

    大資料工程師技能圖譜:

在這裡插入圖片描述