大數據學習QQ群：716581014 共同努力進步

從學習難易度來看，作為一個為“優雅”而生的語言，Python語法簡捷而清晰，對底層做了很好的封裝，是一種很容易上手的高級語言。在一些習慣於底層程序開發的“硬核”程序員眼裏，Python簡直就是一種“偽代碼”。

2018年零基礎學習大數據路線圖

在大數據和數據科學領域，Python幾乎是萬能的，任何集群架構軟件都支持Python，Python也有很豐富的數據科學庫，所以Python不得不學。

Linux：因為大數據相關軟件都是在Linux上運行的，所以Linux要學習的紮實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟件的運行環境和網絡環境配置，能少踩很多坑，學會 shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

Hadoop：這是現在流行的大數據處理平臺幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裏面包括幾個組件HDFS、MapReduce和YARN，HDFS是存儲數據的地方就像我們電腦的硬盤一樣文件都存儲在這個上面，MapReduce是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

YARN是體現Hadoop平臺概念的重要組件有了它大數據生態體系的其它軟件就能在hadoop上運行了，這樣就能更好的利用HDFS大存儲的優勢和節省更多的資源比如我們就不用再單獨建一個spark的集群了，讓它直接跑在現有的hadoop yarn上面就可以了。其實把Hadoop的這些組件學明白你就能做大數據的處理了，只不過你現在還可能對”大數據”到底有多大還沒有個太清楚的概念，聽我的別糾結這個。

等以後你工作了就會有很多場景遇到幾十T/幾百T大規模的數據，到時候你就不會覺得數據大真好，越大越有你頭疼的。當然別怕處理這麽大規模的數據，因為這是你的價值所在，讓那些個搞Javaee的php的html5的和DBA的羨慕去吧。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟件對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

2018年零基礎學習大數據路線圖

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql數據庫，因為一會裝hive的時候要用到，mysql需要掌握到什麽層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的權限，修改root的密碼，創建數據庫。這裏主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql裏的數據導入到Hadoop裏的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要註意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapReduce程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapReduce、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL數據庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是幹嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你幹嗎給我這麽多的數據(比如好幾百G的文件)我怎麽處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列裏你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。

當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

2018年零基礎學習大數據路線圖

Spark：它是用來彌補基於MapReduce處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬盤。特別適合做叠代運算，所以算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

後續提高：大數據結合人工智能達到真正的數據科學家，打通了數據科學的任督二脈，在公司是技術專家級別，這時候月薪再次翻倍且成為公司核心骨幹。

機器學習(Machine Learning, ML)：是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、算法復雜度理論等多門學科。它是人工智能的核心，是使計算機具有智能的根本途徑，其應用遍及人工智能的各個領域，它主要使用歸納、綜合而不是演繹。機器學習的算法基本比較固定了，學習起來相對容易。

你的大數據學習路線
騰訊雲一站式解決方案在移動開發生命周期中提供各種服務，幫助您快速構建移動應用程序並推動業務增長。立即了解細

計算機科學碩士畢業於北京航空公司。現在他為一家互聯網金融公司和一名開源技術愛好者工作。曾在IBM、Sogou、微博等公司任職。我們對卡夫卡和其他開源的流處理技術和框架有很深的理解，也是中國的高級卡夫卡代碼貢獻者。深入研究了卡夫卡的工作原理、應用機理及應用進展。

本文的目的是為所有大數據初學者制定一個清晰的學習路線，幫助他們打開大數據的學習之旅。鑒於大數據領域的輝煌和復雜的技術，每個大數據初學者應該根據自己的實際情況制定自己的學習路徑。

大數據，即大數據，對它有很多定義。最權威的是IBM的定義，它可以被讀者閱讀。由於本文關註的是如何學習大數據，首先要在大數據域中定義不同的角色，以便讀者能夠根據自己的實際情況找到自己的位置，從而打開學習過程。

你的大數據學習路線
角色

在我看來，大數據產業有以下兩種類型的角色。

大數據工程

大數據分析

為什麽這兩種角色相互依賴，獨立運作？沒有大數據工程，大數據分析是不可能的，但沒有大數據分析，就沒有理由進行大數據工程。這與婚姻和愛情相似——愛情的目的是結婚，而不是為了愛情而結婚，是玩流氓。

特別是大數據工程需要解決數據的定義、收集、計算和保存等工作。因此，大型數據工程師首先考慮數據的高可用性問題，設計和部署這樣的系統，即大數據工程系統需要為下遊業務系統或分析系統實時提供數據服務。而大型數據分析的角色定位在如何使用數據從大型數據工程系統接收數據，如何為企業或組織提供生產性數據分析，並且它確實幫助公司改進或提高服務水平，因此對於大數據分析者來說，它們是F。解決這個問題。問題是發現和利用數據的價值，包括趨勢分析、模型建立和預測分析。

總而言之，大數據工程角色需要考慮數據收集、計算（或處理）和保存；大數據分析角色是用於執行數據的高級計算。

你的大數據學習路線
我們屬於什麽樣的角色？

既然我們理解了在大數據領域中的角色分類，我們自然需要“就座”來確定他們自己的位置，這樣我們就可以開始在一個明確的方向上學習大數據。在考慮這個問題時，我們需要參考以下兩個因素。

專業知識背景

行業經驗

這裏的專業知識背景不是學歷和機構的背景，而是你對一些IT技術的理解。即使你不是計算機專業的，只要你在C語言中有一個熱血，即使C Dennis Ritchie的父親也不敢貶低你。因此，這裏只有兩個專業知識。

計算機專業知識，如操作系統、程序設計語言、計算機操作原理等。

數學知識，指高等數學，如微積分，概率統計，線性代數和離散數學，不是x*x+y x y＝1。

而行業經驗指的是你在相關領域的工作經驗，具體可以分為以下3個文件。

綠色的手。

你的大數據學習路線
有一定經驗的工程師

資深專家——現在在大數據領域，有一個更酷的名字，數據科學家，比如百度前首席數據科學家Wu Enda博士。

好的，現在我們可以根據上面的分類來定義我們的角色。例如，作者是：“我是一個計算機專業的工程師，有一定的數學基礎（尤其是微積分和線性代數），但數理統計和概率論不是我的強項。”此外，最好不要炸掉面子。脂肪。如果你以前沒有任何經驗，承認你是新手。沒關系。關鍵是要明確你的立場。

在確定我們的位置之後，我們需要對應於特定的大數據角色。下面是一些基本規則。

如果你有良好的編程基礎和深刻的理解

深度學習(Deep Learning, DL)：深度學習的概念源於人工神經網絡的研究，最近幾年發展迅猛。深度學習應用的實例有AlphaGo、人臉識別、圖像檢測等。是國內外稀缺人才，但是深度學習相對比較難，算法更新也比較快，需要跟隨有經驗的老師學習。

**大數據學習QQ群：716581014 一起學習

大數據基礎入門圖

2018年零基礎學習大數據，你的大數據學習路線