大資料這個詞也許幾年前你聽著還會覺得陌生，但我相信你現在聽到hadoop這個詞的時候你應該都會覺得“熟悉”！越來越發現身邊從事hadoop開發或者是正在學習hadoop的人變多了。作為一個hadoop入門級的新手，你會覺得哪些地方很難呢？執行環境的搭建恐怕就已經足夠讓新手頭疼。如果每一個發行版hadoop都可以做到像大快DKHadoop那樣把各種環境搭建整合到一起，一次安裝搞定所有，那對於新手來說將是件多麼美妙的事情！

閒話扯得稍微多了點，迴歸整體。這篇準備給大家hadoop新入門的朋友分享一些hadoop的基礎知識——hadoop家族產品。通過對hadoop家族產品的認識，進一步幫助大家學習好hadoop！同時，也歡迎大家提出寶貴意見！

一、Hadoop定義

Hadoop是一個大家族，是一個開源的生態系統，是一個分散式執行系統，是基於Java程式語言的架構。不過它最高明的技術還是HDFS和MapReduce，使得它可以分散式處理海量資料。

二、Hadoop產品

HDFS（分散式檔案系統）：

它與現存的檔案系統不同的特性有很多，比如高度容錯（即使中途出錯，也能繼續執行），支援多媒體資料和流媒體資料訪問，高效率訪問大型資料集合，資料保持嚴謹一致，部署成本降低，部署效率提高等，如圖是HDFS的基礎架構。

MapReduce/Spark/Storm（平行計算架構）：

1、資料處理方式來說分離線計算和線上計算：

2、資料儲存位置來說分磁碟計算和記憶體計算：

Pig/Hive（Hadoop程式設計）：

HBase/Sqoop/Flume（資料匯入與匯出）:

以上這些資料轉移工具都極大地方便了使用的人，提高了工作效率，把精力專注在業務分析上。

ZooKeeper/Oozie（系統管理架構）：

Ambari/Whirr（系統部署管理）：

Mahout（機器學習）：

Mahout旨在幫助我們快速地完成高智商的系統。其中已經實現了部分機器學習的邏輯。這個架構可以讓我們快速地整合更多機器學習的智慧。