大資料時代如何確定學習方向?認為在大資料的世界裡面主要有三個學習方向：大資料開發師、大資料運維師、大資料架構師。

什麼是大資料開發師?

圍繞大資料系平臺系統級的研發人員， 熟練Hadoop、Spark、Storm等主流大資料平臺的核心框架。深入掌握如何編寫

MapReduce的作業及作業流的管理完成對資料的計算，並能夠使用Hadoop提供的通用演算法， 熟練掌握Hadoop整個生態系統的

元件如： Yarn，HBase、Hive、Pig等重要元件，能夠實現對平臺監控、輔助運維繫統的開發。

通過學習一系列面向開發者的Hadoop、Spark等大資料平臺開發技術，掌握設計開發大資料系統或平臺的工具和技能，能夠從事

分散式計算框架如Hadoop、Spark群集環境的部署、開發和管理工作，如效能改進、功能擴充套件、故障分析等。

什麼是大資料運維師?

瞭解Hadoop、Spark、Storm等主流大資料平臺的核心框架，熟悉Hadoop的核心元件：HDFS、MapReduce、Yarn;具備大資料

叢集環境的資源配置，如網路要求、硬體配置、系統搭建。熟悉各種大資料平臺的部署方式，叢集搭建，故障診斷、日常維護、

效能優化，同時負責平臺上的資料採集、資料清洗、資料儲存，資料維護及優化。熟練使用Flume、Sqoop等工具將外部資料加

載進入大資料平臺，通過管理工具分配叢集資源實現多使用者協同使用叢集資源。通過靈活、易擴充套件的Hadoop平臺轉變了傳統的

資料庫和資料倉庫系統架構，從Hadoop部署實施到執行全程的狀態監控，保證大資料業務應用的安全性、快速響應及擴充套件能力!

什麼是大資料架構師?

圍繞大資料系平臺系統級的研發人員， 熟練Hadoop、Spark、Storm等主流大資料平臺的核心框架。深入掌握如何編寫

MapReduce的作業及作業流的管理完成對資料的計算，並能夠使用Hadoop提供的通用演算法， 熟練掌握Hadoop整個生態系統的

元件如： Yarn，HBase、Hive、Pig等重要元件，能夠實現對平臺監控、輔助運維繫統的開發。

通過學習一系列面向開發者的Hadoop、Spark等大資料平臺開發技術，掌握設計開發大資料系統或平臺的工具和技能，能夠從事

分散式計算框架如Hadoop、Spark群集環境的部署、開發和管理工作，如效能改進、功能擴充套件、故障分析等。

大資料學習群：716581014