大資料需要學習什麼？很多人問過我這個問題。每一次回答完都覺得自己講得太片面了，總是沒有一個合適的契機去好好總結這些內容，直到開始寫這篇東西。大資料是近五年興起的行業，發展迅速，很多技術經過這些年的迭代也變得比較成熟了，同時新的東西也不斷湧現，想要保持自己競爭力的唯一辦法就是不斷學習。

大資料需要的語言

Java

java可以說是大資料最基礎的程式語言，據我這些年的經驗，我接觸的很大一部分的大資料開發都是從Jave Web開發轉崗過來的（當然也不是絕對我甚至見過產品轉崗大資料開發的，逆了個天）。

• 一是因為大資料的本質無非就是海量資料的計算，查詢與儲存，後臺開發很容易接觸到大資料量存取的應用場景
• 二就是java語言本事了，天然的優勢，因為大資料的元件很多都是用java開發的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入學習，填上生產環境中踩到的各種坑，必須得先學會java然後去啃原始碼。

說到啃原始碼順便說一句，開始的時候肯定是會很難，需要對元件本身和開發語言都有比較深入的理解，熟能生巧慢慢來，等你過了這個階段，習慣了看原始碼解決問題的時候你會發現原始碼真香。

Python和Shell

shell應該不用過多的介紹非常的常用，屬於程式猿必備的通用技能。python更多的是用在資料探勘領域以及寫一些複雜的且shell難以實現的日常指令碼。

分散式計算

什麼是分散式計算？分散式計算研究的是如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然後把這些部分分配給許多伺服器進行處理，最後把這些計算結果綜合起來得到最終的結果。

舉個栗子，就像是組長把一個大專案拆分，讓組員每個人開發一部分，最後將所有人程式碼merge，大專案完成。聽起來好像很簡單，但是真正參與過大專案開發的人一定知道中間涉及的內容可不少。

比如這個大專案如何拆分？任務如何分配？每個人手頭已有工作怎麼辦？每個人能力不一樣怎麼辦？每個人開發進度不一樣怎麼辦？開發過程中組員生病要請長假他手頭的工作怎麼辦？指揮督促大家幹活的組長請假了怎麼辦？最後程式碼合併過程出現問題怎麼辦？專案延期怎麼辦？專案最後黃了怎麼辦？

仔細想想上面的奪命十連問，其實每一條都是對應了分散式計算可能會出現的問題，具體怎麼對應大家思考吧我就不多說了，其實已經是非常明顯了。也許有人覺得這些問題其實在多人開發的時候都不重要不需要特別去考慮怎麼辦，但是在分散式計算系統中不一樣，每一個都是非常嚴重並且非常基礎的問題，需要有很好的解決方案。

最後提一下，分散式計算目前流行的工具有：

• 離線工具Spark，MapReduce等
• 實時工具Spark Streaming，Storm，Flink等

這幾個東西的區別和各自的應用場景我們之後再聊。

分散式儲存

傳統的網路儲存系統採用的是集中的儲存伺服器存放所有資料，單臺儲存伺服器的io能力是有限的，這成為了系統性能的瓶頸，同時伺服器的可靠性和安全性也不能滿足需求，尤其是大規模的儲存應用。

分散式儲存系統，是將資料分散儲存在多臺獨立的裝置上。採用的是可擴充套件的系統結構，利用多臺儲存伺服器分擔儲存負荷，利用位置伺服器定位儲存資訊，它不但提高了系統的可靠性、可用性和存取效率，還易於擴充套件。

上圖是hdfs的儲存架構圖，hdfs作為分散式檔案系統，兼備了可靠性和擴充套件性，資料儲存3份在不同機器上（兩份存在同一機架，一份存在其他機架）保證資料不丟失。由NameNode統一管理元資料，可以任意擴充套件叢集。

主流的分散式資料庫有很多hbase，mongoDB，GreenPlum，redis等等等等，沒有孰好孰壞之分，只有合不合適，每個資料庫的應用場景都不同，其實直接比較是沒有意義的，後續我也會有文章一個個講解它們的應用場景原理架構等。

分散式排程與管理

現在人們好像都很熱衷於談"去中心化"，也許是區塊鏈帶起的這個潮流。但是"中心化"在大資料領域還是很重要的，至少目前來說是的。

• 分散式的叢集管理需要有個元件去分配排程資源給各個節點，這個東西叫yarn;
• 需要有個元件來解決在分散式環境下"鎖"的問題，這個東西叫zookeeper；
• 需要有個元件來記錄任務的依賴關係並定時排程任務，這個東西叫azkaban。

當然這些“東西”並不是唯一的，其實都是有很多替代品的，我這裡只舉了幾個比較常用的例子。

關於spark和Scala

scala和java很相似都是在jvm執行的語言，在開發過程中是可以無縫互相呼叫的。

Scala在大資料領域的影響力大部分都是來自社群中的明星Spark和kafka, 這兩個東西大家應該都知道（後面我會有文章多維度介紹它們），它們的強勢發展直接帶動了Scala在這個領域的流行。

公眾號有一套關於這個的視訊，關注後,後臺回覆1和2即可

1. Scala 入門

Scala的基礎語法、編譯環境、常用型別、宣告等

Scala的行、字元、二進位制與文字檔案的讀取與寫入

2. Scala 的函數語言程式設計

Scala的控制結構（賦值、條件、迴圈、輸入輸出）與函式（引數與過程）

Scala的陣列操作（定義、遍歷、轉換）及常用演算法

3. Scala 的面向物件程式設計

Scala的類和物件構造與繼承、重寫、抽象、轉換，

類與物件中特質的屬性與使用，包的使用與引入

4. Scala的高階基礎一

Scala的操作符呼叫與過載，集合的處理，高階函式與型別函式

5. Scala的高階基礎二

Scala直譯器的使用，高階型別與類庫（actor，akka），物件式模組化程式設計

spark入門

1. Spark部署
2. Spark程式設計模型(1)
3. Spark執行架構(1)
4. Spark SQL原理和實踐(4)
5. Spark Streaming原理和實踐
6. Spark 機器學習入門
7. GraphX 入門

推薦閱讀