1. 程式人生 > >大資料開發工程師崗位分析

大資料開發工程師崗位分析

最近一年大資料火爆異常,各種培訓班開課廣告滿天飛,很多做開發的朋友也想轉到大資料這一行,在投遞簡歷的時候進場被幾個崗位搞迷糊,他們是大資料分析師,大資料研發工程師,大資料建模工程師,大資料探勘工程師。我會根據前同事所在公司的相應崗位,列出崗位職責和要求,供大家借鑑。

大資料開發工程師

騰訊 大資料研發工程師

職位描述:

崗位職責:

負責資料接入、資料清洗、底層重構,業務主題建模等工作;

負責金融大資料整體的計算平臺開發與應用;

崗位要求:

計算機或相關專業本科以上學歷;

有5年及以上大資料平臺開發方面相關工作經驗;

熟悉資料倉庫和資料建模的相關技術細節,有程式設計經驗,熟悉JAVA語言;熟悉SQL/Hadoop/Hive/Hbase/Spark等大資料工具

具有海量資料處理經驗,或有網際網路行業資料探勘工作經驗者優先;

有第三方支付或金融業務經歷者優先考慮;

順豐科技

職位描述:

崗位職責:

1、負責大資料系統的開發工作;
2、指導協助同事解決日常工作中的問題
3、對系統存在的問題進行跟蹤和定位並及時解決;
4、嚴格執行工作計劃,主動彙報並高效完成任務保證部門及個人工作目標實現。

任職要求:

1、計算機、軟體工程等相關專業,本科及以上學歷,具有3年及以上Java開發經驗;1年及以上網際網路或大資料分析工作經驗優先;
2、 熟悉Hadoop或Spark生態相關技術,包括MapReduce、hdfs、Hive、Spark等,1個以上大資料平臺專案實施經驗; 熟悉Oracle或MySQL資料庫技術;
3、具有BI系統的開發實施經驗,能夠獨立開發設計資料倉庫、ETL設計、Cube建模、OLAP開發、報表開發等;一定的應用系統分析與設計能力,有良好、規範的程式設計習慣和文件編寫習慣;
4、有較強的學習能力,對技術有鑽研精神,並有較高的熱情,熱衷於新技術、新理論、新開發實踐的學習和實踐。

平安科技

職位描述:

工作年限:2年以上

職位描述:

1、負責hadoop/spark平臺技術引進和推廣,並能結合使用者需求快速落地推廣;

2、負責大資料分析需求設計和開發,包括資料集市、實時分析、資料展示等的開發,並交付生產,確保輸出成果;

3、負責專案成果在公司內的推廣應用、培訓,以及對外對內合作交流,不斷提升公司的技術和應用能力。

招聘要求:

1、電腦科學、應用數學、物理學等相關專業,本科以上學歷;

2、具有2年以上BI/報表相關工作經驗,熟練掌握hadoop hive開發,有一定調優經驗;

3、能熟練使用sqoop等作為etl工具,有tableau/qlikview開發經驗;

4、有良好的口頭和書面表達能力;

5、良好的結構化問題解決能力。

注:以上崗位要求國家統招學歷,本科及以上學歷需要有學位證書。

橫向對比

相同的大資料開發工程師職位在不同的網際網路公司,崗位職責不一樣,相應的崗位要求差異也比較大。不過,核心技能要求相近:
1. 熟悉hadoop叢集
2. 熟悉hive
3. 熟悉Java
4. 有一定的BI開發經驗
5. 善於溝通,善於分析(軟技能,需要不斷培養和提升)

以上應該是大資料開發崗位的基本要求。因此,在面試該崗位前,首先基礎技能一定要滿足,然後在看崗位職責中還有哪些其他技能要求。