1. 程式人生 > >大數據職位體系

大數據職位體系

熱門 mapred orm 存在 補充 數據類型 負責 數據系統 數據架構

技術分享圖片
我們接觸過很多家互聯網企業,目前最為普遍也是職位需要比較大的莫過於大數據方向的崗位,以下是我通過各位技術前輩對於大數據方向各個職位的整理,方便我們獵頭朋友更好地理解職位需求,同時對大數據方向感興趣的同學也可以參考,以下是詳細的文檔,其中腦圖我也整理整理了一份,供大家參考,另外關於技術方向是不斷進化和演變的過程,希望大家共同補充和提出不同的見解。
大數據職位體系
1.大數據涉及職位從技術趨勢角度來來
大數據系統研發類人才
1>大數據應用開發類人才
2>大數據應用開發工程師
3>大數據分析類人才
4>大數據分析師
2.企業方向劃分
1>產品市場分析---通過算法來測試新產品的有效性,\n是一個相對較新的領域
2>安全和風險分析---數據科學家們知道需要收集哪些數據、\n如何進行快速分析,並最終通過分析\n信息來有效遏制網絡入侵或抓住網絡罪犯。
3>商業智能
3.熱門崗位
1>ETL研發:ETL,是英文 Extract-Transform-Load 的縮寫,用來描述將數據從來源端經過抽取(extract)、交互轉換(transform)、加載(load)至目的端的過程。ETL一詞較常用在數據倉庫,但其對象並不限於數據倉庫。
2>有不同的數據類型
隨著數據種類的不斷增加,企業對數據整合專業人才的需求越來越旺盛。ETL開發者與不同的數據來源和組織打交道,從不同的源頭抽取數據,轉換並導入數據倉庫以滿足企業的需要。
3>負責內容
ETL研發,主要負責將分散的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成,最後加載到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。
4>應用領域
應用領域:商業智能領域,是構建數據倉庫的底層基礎技術
ETL行業相對成熟,相關崗位的工作生命周期比較長,通常由內部員工和外包合同商之間通力完成。ETL人才在大數據時代炙手可熱的原因之一是:在企業大數據應用的早期階段,Hadoop只是窮人的ETL
4.Hadoop開發:Hadoop是在分布式服務器集群上存儲海量數據並運行分布式分析應用的一個平臺,其核心部件是HDFS與MapReduce
1>核心思想
2>HDFS---HDFS負責Hadoop生態圈的數據存取工作
3>MapReduce---_MapReduce負責Hadoop生態圈的數據運算工作
4>hadoop生態圈----Hadoop生態圈使用HDFS文件系統進行存取數據,數據被分散的保存在集群的各個服務器上,在計算數據時使用MapReduce結合HDFS進行邏輯運算取出數據。
5>信息架構開發---- 大數據重新激發了主數據管理的熱潮。充分開發利用企業數據並支持決策需要非常專業的技能。信息架構師必須了解如何定義和存檔關鍵元素,確保以最有效的方式進行數據管理和利用。信息架構師的關鍵技能包括主數據管理、業務知識和數據建模等
6>可視化工具開發----量數據的分析是個大挑戰,而新型數據可視化工具如Spotifre,Qlikview和Tableau可以直觀高效地展示數據。
可視化開發就是在可視開發工具提供的圖形用戶界面上,通過操作界面元素,由可視開發工具自動生成應用軟件。還可輕松跨越多個資源和層次連接您的所有數據,經過時間考驗,完全可擴展的,功能豐富全面的可視化組件庫為開發人員提供了功能完整並且簡單易用的組件集合,以用來構建極其豐富的用戶界面。
過去,數據可視化屬於商業智能開發者類別,但是隨著Hadoop的崛起,數據可視化已經成了一項獨立的專業技能和崗位。
7>數據倉庫研究---數據倉庫是為企業所有級別的決策制定過程提供支持的所有類型數據的戰略集合。它是單個數據存儲,出於分析性報告和決策支持的目的而創建。為企業提供需要業務智能來指導業務流程改進和監視時間、成本、質量和控制。
數據倉庫的專家熟悉Teradata、Neteeza和Exadata等公司的大數據一體機。能夠在這些一體機上完成數據集成、管理和性能優化等工作。
9>數據科學研究---這一職位過去也被稱為數據架構研究,數據科學家是一個全新的工種,能夠將企業的數據和技術轉化為企業的商業價值。隨著數據學的進展,越來越多的實際工作將會直接針對數據進行,這將使人類認識數據,從而認識自然和行為。因此,數據科學家首先應當具備優秀的溝通技能,能夠同時將數據分析結果解釋給IT部門和業務部門領導。
總的來說,數據科學家是分析師、藝術家的合體,需要具備多種交叉科學和商業技能。
10>數據預測分析---營銷部門經常使用預測分析預測用戶行為或鎖定目標用戶。預測分析開發者有些場景看上有有些類似數據科學家,即在企業歷史數據的基礎上通過假設來測試閾值並預測未來的表現。
11>企業數據管理---企業要提高數據質量必須考慮進行數據管理,並需要為此設立數據管家職位,這一職位的人員需要能夠利用各種技術工具匯集企業周圍的大量數據,並將數據清洗和規範化,將數據導入數據倉庫中,成為一個可用的版本。然後,通過報表和分析技術,數據被切片、切塊,並交付給成千上萬的人。擔當數據管家的人,需要保證市場數據的完整性,準確性,唯一性,真實性和不冗余。
12>數據安全研究---數據安全這一職位,主要負責企業內部大型服務器、存儲、數據安全管理工作,並對網絡、信息安全項目進行規劃、設計和實施。數據安全研究員還需要具有較強的管理經驗,具備運維管理方面的知識和能力,對企業傳統業務有較深刻的理解,才能確保企業數據安全做到一絲不漏。

大數據職位體系