Hadoop系列--Hadoop介紹(Hadoop是什麼)
阿新 • • 發佈:2019-02-03
1 Hadoop概述
Hadoop專案的目標是建立一個可擴充套件開源軟體框架,能夠對大資料進行可靠的分散式處理。 Hadoop框架最核心的設計就是:**HDFS**和**MapReduce**。HDFS為海量的資料提供了儲存,則MapReduce為海量的資料提供了計算。HDFS是一個分散式檔案系統,具有低成本、高可靠性性、高吞吐量的特點。MapReduce是一個程式設計模型和軟體框架。 簡單理解,Hadoop是一個開源的大資料分析軟體,或者說程式設計模式。它是通過分散式的方式處理大資料的,因為開元的原因現在很多的企業或多或少的在運用hadoop的技術來解決一些大資料的問題,在資料倉庫方面hadoop是非常強大的。但在資料集市以及實時的分析展現層面,hadoop也有著明顯的不足,現在一個比較好的解決方案是架設hadoop的資料倉庫而資料集市以及實時分析展現層面使用永洪科技的大資料產品,能夠很好地解決hadoop 的分時間長以及其他的問題。
2 Hadoop體系結構
下面以一張圖的形式大體描述一下Hadoop的體系結構。
3 Hadoop與分散式開發
參照下圖瞭解Hadoop與分散式開發的基本流程,詳細步驟會在後續學習中講解。