大數據MapReduce 編程實戰
阿新 • • 發佈:2018-05-06
大數據 程序員 hadoop MapReduce 編程實戰
一、大數據的起源
1、舉例:(1)商品推薦 問題1:大量訂單如何存儲?
問題2:大量訂單如何計算?
(2)天氣預報: 問題1:大量的天氣數據如何存儲?
問題2:大量的天氣數據如何計算?
2、大數據核心的問題:
(1)數據的存儲:分布式文件系統
(2)數據的計算:分布式計算(MapReduce)
3、MapReduce的計算模型的來源
(1)根據Google發表一篇論文:MapReduce
(2)問題:PageRank(網頁排名)---> 舉例
二、MapReduce的編程模型
Demo 演示:WordCount 單詞計數
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/wc1
**三、MapReduce的處理數據流程(非常、非常、非常重要)
四、開發自己的MapReduce程序(Java程序)
五、Yarn調度的過程**
很多人都知道我有大數據培訓資料,都天真的以為我有全套的大數據開發、hadoop、spark等視頻學習資料。我想說你們是對的,我的確有大數據開發、hadoop、spark的全套視頻資料。
如果你對大數據開發感興趣可以加口群領取免費學習資料: 763835121
大數據MapReduce 編程實戰