1. 程式人生 > >hadoop入門教程免費下載

hadoop入門教程免費下載

Hadoop入門教程免費下載,學習大資料的小夥伴應該都知道Hadoop是必須要接觸的,學習大資料,從Hadoop入門教程開始。

 

Hadoop是什麼?

首先我們瞭解到Hadoop是Apache軟體基金會管理的開源軟體平臺,但Hadoop到底是什麼呢?簡單來說,Hadoop是在分散式伺服器叢集上儲存海量資料並執行分散式分析應用的一種方法。

Hadoop被設計成一種非常“魯棒”的系統,即使某臺伺服器甚至叢集宕機了,執行其上的大資料分析應用也不會中斷。此外Hadoop的效率也很高,因為它並不需要你在網路間來回搗騰資料。

Hadoop能夠做什麼?

不管是國外的著名公司Google、Yahoo!、微軟、亞馬遜、 EBay、FaceBook、Twitter、LinkedIn等和初創公司Cloudera、Hortonworks等,又還是國內的著名公司中國移動、阿里巴巴、華為、騰訊、百度、網易、京東商城等,都在使用Hadoop及相關技術解決大規模化資料問題,以滿足公司需求和創造商業價值。

“Hadoop能做什麼?” ,概括如下:

1)搜尋引擎:這也正是Doug Cutting設計Hadoop的初衷,為了針對大規模的網頁快速建立索引;

2)大資料儲存:利用Hadoop的分散式儲存能力,例如資料備份、資料倉庫等;

3)大資料處理:利用Hadoop的分散式處理能力,例如資料探勘、資料分析等;

4)科學研究:Hadoop是一種分散式的開源框架,對於分散式系統有很大程度地參考價值。

Hadoop核心

Hadoop的核心就是HDFS和MapReduce,而兩者只是理論基礎,不是具體可使用的高階應用,Hadoop旗下有很多經典子專案,比如Hbase、Hive等,這些都是基於HDFS和MapReduce發展出來的。要想了解Hadoop,就必須知道HDFS和MapReduce是什麼。

HDFS

HDFS(Hadoop Distributed File System,Hadoop分散式檔案系統),它是一個高度容錯性的系統,適合部署在廉價的機器上。HDFS能提供高吞吐量的資料訪問,適合那些有著超大資料集(large data set)的應用程式。

 

MapReduce

通俗說MapReduce是一套從海量·源資料提取分析元素最後返回結果集的程式設計模型,將檔案分散式儲存到硬碟是第一步,而從海量資料中提取分析我們需要的內容就是MapReduce做的事了。

MapReduce的基本原理就是:將大的資料分析分成小塊逐個分析,最後再將提取出來的資料彙總分析,最終獲得我們想要的內容。當然怎麼分塊分析,怎麼做Reduce操作非常複雜,Hadoop已經提供了資料分析的實現,我們只需要編寫簡單的需求命令即可達成我們想要的資料。

   IT行業作為以後發展的大勢所趨,Hadoop 作為IT行業的未來之星, 在不學習就OUT了,人生就貴在不斷學習不斷成長,所謂活到老學到老就是我們一生的信仰!想要更多大資料的入門教程,歡迎聯絡小編,小編的大資料資料庫可不是蓋得呦!