大資料是對海量資料儲存、計算、統計、分析等一系列處理手段，處理的資料量是TB級，甚至是PB或EB級的資料，是傳統資料處理手段無法完成的，大資料涉及分散式計算、高併發處理、高可用處理、叢集、實時性計算等等，彙集的是IT最熱門、最流行的IT技術，大資料是機器學習、深度學習、AI等尖端可以領域的基礎架構。

大資料技術為決策提供依據，在政府、企業、科研專案等決策中扮演著重要的角色，在社會治理和企業管理中起到了不容忽視的作用，例如我國、美國以及歐盟等國家都已將大資料列入國家發展戰略，微軟、谷歌、百度以及亞馬遜等大型企業也將大資料技術列為未來發展的關鍵籌碼。

那麼，常用的大資料技術有哪些呢?

第一階段JavaSE + MySql + Linux

Java 基礎 → OOP程式設計 →Java集合 → IO/NIO → Eclipse → Intellij IDEA → Socket網路技術 → Mysql 資料庫 → JDBC Api → JVM記憶體結構 → 階段專案實戰 → Linux(VMware、CentOS、目錄結構、Linux命令)

第二階段Hadoop 與 生態系統

Hadoop→ MapReduce → Hive → Avro與Protobuf → Zookeeper → HBase → phoenix → Redis → Flume分散式 → SSM(Spring、SpringMVC、Mybatis) → Kafka架構

第三階段Storm 與Spark 及其生態圈

Scala → Spark Job → Spark RDD → spark job部署與資源分配 → Spark shuffle → Spark SQL → Spark Streaming → Spark ML → azkaban

第四階段其他

Python與資料分析

第五階段專案實戰、技術綜合運用

大資料商業實戰階段需掌握的技術有：實操企業大資料處理業務場景，分析需求、解決方案實施，綜合技術實戰應用。

在擁有Java程式語言基礎的前提下，可以學習以上大資料技術，大資料是未來的發展方向，正在挑戰我們的分析能力及對世界的認知方式，因此，我們與時俱進，迎接變化，並不斷的成長，掌握大資料核心技術，才是掌握真正的價值所在。