1. 程式人生 > >大資料初學者怎樣學習 或Java工程師怎麼轉大資料?

大資料初學者怎樣學習 或Java工程師怎麼轉大資料?

大資料怎麼學,java怎麼轉大資料,今天就給大家分享一下。

大資料初學者怎樣學習 或Java工程師怎麼轉大資料

大資料初學者怎樣學習 或Java工程師怎麼轉大資料?

大資料現在很火很熱,但是怎麼學習呢?下面我給大家分享一下:

首先給大家普及一下大資料相關知識大資料的4大特徵:

1.資料在體量方面很大,比如說文字,有各種各樣的來源,有電子書|實體書|雜誌|報刊等,它們的資料大吧。

2.資料的型別多種多樣,有些是結構化的資料,像存在Oracle,MySQL這些傳統的資料庫裡的資料,一般都是結構化,可以是還有非結構化,比如HTML,WORD,execl等格式。

3.它們的價值密度低,這樣說吧,你比如說觀看一條資料好像價值也不大,但是分析所有的資料之後呢?總會挖掘出一些 重要的東西。

4.處理這些資料的速度要快。比如像Hadoop技術的MapReduce計算框架,相比傳統的資料庫處理速度要快,它的吞吐量 特別的大,再比如Spark,Spark在記憶體方面計算比Hadoop快100倍,在磁碟方面計算快10倍。

大資料的方向的工作有 大資料運維工程師、大資料開發工程師、資料分析、資料探勘、架構師等。

 

 

 

基礎路線:

 

在這裡相信有許多想要學習大資料的同學,大家可以+下大資料學習裙:716加上【五8一】最後014,即可免費領取一整套系統的大資料學習教程
 

  • Hadoop HDFS檔案系統 MR計算模型

  • Hive資料倉庫

  • HBase資料庫

  • Flume日誌收集

  • Kafka訊息系統

  • Storm流式計算

  • Spark生態圈:Spark Core、Spark SQL、Spark Streaming、MLLib和GraphX

  • Zookeeper協調系統

  • NOSQL資料庫:Redis、MongoDB

  • 機器學習:Mahout

看到這麼多技術是不是有點暈呢?該怎麼學習呢?

大資料初學者怎樣學習 或Java工程師怎麼轉大資料?

  1. 先學Hadoop Hadoop框架中由兩大模組組成,一個HDFS(Hadoop Distributed File System),是用來儲存需要處理的資料,另外一個是MapReduce,是Hadoop的處理資料的計算模型。

  2. 學習一門資料庫,像MySQL學點SQL吧

  3. Hive 只要你會SQL,你就會使用它。hive是基於Hadoop的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供簡單的sql查詢功能,可以將sql語句轉換為MapReduce任務進行執行。

  4. HBase HBase即Hadoop DataBase,Hadoop的資料庫,HBase是一種 "NoSQL" 資料庫,即不是RDBMS ,不支援SQL作為主要訪問手段。

  5. Sqoop Sqoop是遷移資料工具,可以在很多資料庫之間來遷移,

  6. Flume Flume是一個分散式的海量日誌採集和傳輸框架,一個高可用的,高可靠的,分散式的海量日誌採集、聚合和傳輸的系統,Flume支援在日誌系統中定製各類資料傳送方,用於收集資料;同時,Flume提供對資料進行簡單處理,並寫到各種資料接受方(可定製)的能力。

  7. Kafka 使用Kafka完成資料的一次收集,多次消費。它是一個分散式、支援分割槽的(partition)、多副本的(replica),基於zookeeper協調的分散式訊息系統。

  8. Spark基於記憶體計算的框架 Spark Core最為重要再學SparkSQL、Spark Streaming、圖計算、機器學習

  9. Storm實時的流計算框架。