Hadoop 是一個開源的分散式計算和儲存框架，由 Apache 基金會開發和維護。

Hadoop 為龐大的計算機叢集提供可靠的、可伸縮的應用層計算和儲存支援，它允許使用簡單的程式設計模型跨計算機群集分散式處理大型資料集，並且支援在單臺計算機到幾千臺計算機之間進行擴充套件。

Hadoop 使用 Java 開發，所以可以在多種不同硬體平臺的計算機上部署和使用。其核心部件包括分散式檔案系統 (Hadoop DFS，HDFS) 和 MapReduce。

Hadoop 歷史

2003 年和 2004 年，Google 公司先後發表了兩篇著名的論文 GFS 和 MapReduce。

這兩篇論文和 2006 年發表的 BigTable 成為了現在著名的"Google 三大論文"。

Doug Cutting 在受到了這些理論的影響後開始了 Hadoop 的開發。

Hadoop 包含了兩大核心元件。在 Google 的論文中，GFS 是一個在龐大的計算機叢集中執行的分散式檔案系統，在 Hadoop 中 HDFS 實現了它的功能。MapReduce 是一個分散式計算的方式，Hadoop 用同名稱的 MapReduce 框架實現了它的功能。我們會在之後的 MapReduce 章節中詳細介紹它。 從 2008 年開始，Hadoop 作為 Apache 頂級專案存在。它與它的眾多子專案廣泛應用於包括 Yahoo、阿里巴巴、騰訊等大型網路服務企業，並被 IBM、Intel、Microsoft 等平臺公司列為支援物件。

Hadoop 的作用

Hadoop 的作用非常簡單，就是在多計算機叢集環境中營造一個統一而穩定的儲存和計算環境，並能為其他分散式應用服務提供平臺支援。

也就是說， Hadoop 在某種程度上將多臺計算機組織成了一臺計算機（做同一件事），那麼 HDFS 就相當於這臺計算機的硬碟，而 MapReduce 就是這臺計算機的 CPU 控制器。