在中國，大數據也正迅速成為行業和市場的熱點。專註與亞太及中國市場的市場調查機構泛亞咨詢發布的調研數據顯示，目前出現在各類招聘平臺上與數據分析相關的招聘需求比去年同期相比，增長率高達67%；大數據相關高級職位的薪酬與其他同類技術職位相比平均高出43%以上。無論是世界範圍內還是在中國，大數據浪潮正在深刻改變著各行各業，而各行各業對大數據人才的需求，以及技術從業者希望躋身大數據高級人才的需求也變得越來越強烈。

但想要成為一名合格的大數據工程師，必須具備一定的技術，總結了一下：

1、必須技能10條:

01.Java高級編程(虛擬機、並發)

02.Linux 基本操作

03.Hadoop（此處指HDFS+MapReduce+Yarn

04.HBase（JavaAPI操作+Phoenix ）

05.Hive

06.Kafka

07.Storm

08.Scala

09.Python

10.Spark (Core+sparksql+Spark streaming ）

2、進階技能6條:

11.機器學習算法以及mahout庫加MLlib

12.R語言

13.Lambda 架構

14.Kappa架構

15.Kylin

16.Aluxio

對於大數據技術的學習，我們老師給出了以下學習路線圖可供規劃自己的學習之路！

階段一、大數據基礎——java語言基礎方面

（1）Java語言基礎

Java開發介紹、熟悉Eclipse開發工具、Java語言基礎、Java流程控制、Java字符串、Java數組與類和對象、數字處理類與核心技術、I/O與反射、多線程、Swing程序與集合類

（2） HTML、CSS與JavaScript

PC端網站布局、HTML5+CSS3基礎、WebApp頁面布局、原生JavaScript交互功能開發、Ajax異步交互、jQuery應用

（3）JavaWeb和數據庫

數據庫、JavaWeb開發核心、JavaWeb開發內幕

階段二、 Linux&Hadoop生態體系

Linux體系、Hadoop離線計算大綱、分布式數據庫Hbase、數據倉庫Hive、數據遷移工具Sqoop、Flume分布式日誌框架

階段三、 分布式計算框架和Spark&Strom生態體系

（1）分布式計算框架

Python編程語言、Scala編程語言、Spark大數據處理、Spark—Streaming大數據處理、Spark—Mlib機器學習、Spark—GraphX 圖計算、實戰一：基於Spark的推薦系統（某一線公司真實項目）、實戰二：新浪網（www.sina.com.cn）

（2）storm技術架構體系

Storm原理與基礎、消息隊列kafka、Redis工具、zookeeper詳解、實戰一：日誌告警系統項目、實戰二：猜你喜歡推薦系統實戰

階段四、 大數據項目實戰（一線公司真實項目）

數據獲取、數據處理、數據分析、數據展現、數據應用

階段五、 大數據分析 —AI（人工智能）

Data Analyze工作環境準備&數據分析基礎、數據可視化、Python機器學習

1、Python機器學習2、圖像識別&神經網絡、自然語言處理&社交網絡處理、實戰項目：戶外設備識別分析

學習建議：如果有足夠的時間和精力，可以按照上面的學習路線圖和視頻教程進行自學。

2019最新大數據學習路線