1.列舉Hadoop生態的各個元件及其功能、以及各個元件之間的相互關係，以圖呈現並加以文字描述。

Hadoop的核心是YARN,HDFS和Mapreduce

下圖是hadoop生態系統，整合spark生態圈。在未來一段時間內，hadoop將於spark共存，hadoop與spark都能部署在yarn、mesos的資源管理系統之上

1、HDFS（Hadoop分散式檔案系統）

HDFS是Hadoop體系中資料儲存管理的基礎。它是一個高度容錯的系統，能檢測和應對硬體故障，用於在低成本的通用硬體上執行。HDFS簡化了檔案的一致性模型，通過流式資料訪問，提供高吞吐量應用程式資料訪問功能，適合帶有大型資料集的應用程式。它提供了一次寫入多次讀取的機制，資料以塊的形式，同時分佈在叢集不同物理機器上。

2、Mapreduce（分散式計算框架）

MapReduce是一種分散式計算模型，用以進行大資料量的計算。它遮蔽了分散式計算框架細節，將計算抽象成map和reduce兩部分，其中Map對資料集上的獨立元素進行指定的操作，生成鍵-值對形式中間結果。Reduce則對中間結果中相同“鍵”的所有“值”進行規約，以得到最終結果。MapReduce非常適合在大量計算機組成的分散式並行環境裡進行資料處理。

3、HBASE（分散式列存資料庫）

HBase是一個建立在HDFS之上，面向列的針對結構化資料的可伸縮、高可靠、高效能、分散式和麵向列的動態模式資料庫。

HBase採用了BigTable的資料模型：增強的稀疏排序對映表（Key/Value），其中，鍵由行關鍵字、列關鍵字和時間戳構成。

HBase提供了對大規模資料的隨機、實時讀寫訪問，同時，HBase中儲存的資料可以使用MapReduce來處理，它將資料儲存和平行計算完美地結合在一起。

4、Zookeeper（分散式協作服務）

解決分散式環境下的資料管理問題：統一命名，狀態同步，叢集管理，配置同步等。

Hadoop的許多元件依賴於Zookeeper，它執行在計算機叢集上面，用於管理Hadoop操作。

5、HIVE（資料倉庫）

Hive定義了一種類似SQL的查詢語言(HQL),將SQL轉化為MapReduce任務在Hadoop上執行。通常用於離線分析。

HQL用於執行儲存在Hadoop上的查詢語句，Hive讓不熟悉MapReduce開發人員也能編寫資料查詢語句，然後這些語句被翻譯為Hadoop上面的MapReduce任務。

6、Pig(ad-hoc指令碼）

Pig定義了一種資料流語言—Pig Latin，它是MapReduce程式設計的複雜性的抽象,Pig平臺包括執行環境和用於分析Hadoop資料集的指令碼語言(Pig Latin)，其編譯器將Pig Latin翻譯成MapReduce程式序列將指令碼轉換為MapReduce任務在Hadoop上執行。通常用於進行離線分析。

7、Sqoop(資料ETL/同步工具）

Sqoop是SQL-to-Hadoop的縮寫，主要用於傳統資料庫和Hadoop之前傳輸資料。資料的匯入和匯出本質上是Mapreduce程式，充分利用了MR的並行化和容錯性。Sqoop利用資料庫技術描述資料架構，用於在關係資料庫、資料倉庫和Hadoop之間轉移資料。

8、Flume（日誌收集工具）

Flume資料流提供對日誌資料進行簡單處理的能力，如過濾、格式轉換等。此外，Flume還具有能夠將日誌寫往各種資料目標（可定製）的能力。總的來說，Flume是一個可擴充套件、適合複雜環境的海量日誌收集系統。當然也可以用於收集其他型別資料

9、Mahout（資料探勘演算法庫）

Mahout的主要目標是建立一些可擴充套件的機器學習領域經典演算法的實現，旨在幫助開發人員更加方便快捷地建立智慧應用程式。

10、Oozie(工作流排程器）

Oozie是一個可擴充套件的工作體系，集成於Hadoop的堆疊，用於協調多個MapReduce作業的執行。它能夠管理一個複雜的系統，基於外部事件來執行，外部事件包括資料的定時和資料的出現。

11、Yarn(分散式資源管理器）

該框架為提供了以下幾個元件：

- 資源管理：包括應用程式管理和機器資源管理

- 資源雙層排程

- 容錯性：各個元件均有考慮容錯性

- 擴充套件性：可擴充套件到上萬個節點

12、Mesos（分散式資源管理器）

與yarn類似，Mesos是一個資源統一管理和排程的平臺，同樣支援比如MR、steaming等多種運算框架。

13、Tachyon（分散式記憶體檔案系統）

Tachyon（/'tæki:ˌɒn/ 意為超光速粒子）是以記憶體為中心的分散式檔案系統，擁有高效能和容錯能力，能夠為叢集框架（如Spark、MapReduce）提供可靠的記憶體級速度的檔案共享服務。

14、Tez(DAG計算模型)

Tez是Apache最新開源的支援DAG作業的計算框架，它直接源於MapReduce框架，核心思想是將Map和Reduce兩個操作進一步拆分，分解後的元操作可以任意靈活組合，產生新的操作，這些操作經過一些控制程式組裝後，可形成一個大的DAG作業。目前hive支援mr、tez計算模型，tez能完美二進位制mr程式，提升運算效能。

15、Spark(記憶體DAG計算模型)

Spark提供了一個更快、更通用的資料處理平臺。和Hadoop相比，Spark可以讓你的程式在記憶體中執行時速度提升100倍，或者在磁碟上執行時速度提升10倍

16、Giraph(圖計算模型)

Apache Giraph是一個可伸縮的分散式迭代圖處理系統， 基於Hadoop平臺，靈感來自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。

17、GraphX(圖計算模型）

Spark GraphX最先是伯克利AMPLAB的一個分散式圖計算框架專案，目前整合在spark執行框架中，為其提供BSP大規模並行圖計算能力。

18、MLib（機器學習庫）

Spark MLlib是一個機器學習庫，它提供了各種各樣的演算法，這些演算法用來在叢集上針對分類、迴歸、聚類、協同過濾等。

19、Streaming（流計算模型）

Spark Streaming支援對流資料的實時處理，以微批的方式對實時資料進行計算

20、Kafka（分散式訊息佇列）

Kafka主要用於處理活躍的流式資料。活躍的流式資料在web網站應用中非常常見，這些資料通常以日誌的形式記錄下來，然後每隔一段時間進行一次統計處理。

21、Phoenix（hbase sql介面）

Apache Phoenix 是HBase的SQL驅動，Phoenix 使得Hbase 支援通過JDBC的方式進行訪問，並將你的SQL查詢轉換成Hbase的掃描和相應的動作。

22、ranger(安全管理工具）

Apache ranger是一個hadoop叢集許可權框架，提供操作、監控、管理複雜的資料許可權，它提供一個集中的管理機制，管理基於yarn的hadoop生態圈的所有資料許可權。

23、knox（hadoop安全閘道器）

Apache knox是一個訪問hadoop叢集的restapi閘道器，它為所有rest訪問提供了一個簡單的訪問介面點，能完成3A認證（Authentication，Authorization，Auditing）和SSO（單點登入）等

24、falcon（資料生命週期管理工具）

Apache Falcon 是一個面向Hadoop的、新的資料處理和管理平臺，設計用於資料移動、資料管道協調、生命週期管理和資料發現。它使終端使用者可以快速地將他們的資料及其相關的處理和管理任務“上載（onboard）”到Hadoop叢集。

25、Ambari（安裝部署配置管理工具）

Apache Ambari 的作用來說，就是建立、管理、監視 Hadoop 的叢集，是為了讓 Hadoop 以及相關的大資料軟體更容易使用的一個web工具。

2.對比Hadoop與Spark的優缺點。

Hadoop的優點

1、Hadoop具有按位儲存和處理資料能力的高可靠性。

2、Hadoop通過可用的計算機叢集分配資料，完成儲存和計算任務，這些叢集可以方便地擴充套件到數以千計的節點中，具有高擴充套件性。

3、Hadoop能夠在節點之間進行動態地移動資料，並保證各個節點的動態平衡，處理速度非常快，具有高效性。

4、Hadoop能夠自動儲存資料的多個副本，並且能夠自動將失敗的任務重新分配，具有高容錯性。

Hadoop的缺點

1、Hadoop不適用於低延遲資料訪問。

2、Hadoop不能高效儲存大量小檔案。

3、Hadoop不支援多使用者寫入並任意修改檔案。

Spark的優點

1、速度快

基於記憶體運算時比mapreduce快100倍，基於磁碟運算也快10倍以上

2、使用方便，支援多語言

本地除錯很方便

支援多種語言：Scala、Java、Python、R

多種執行模式：Local模式、Standalone模式、Spark On Yarn、Spark On Mesoes、Kubernetes

3、豐富的操作運算元

spark有豐富的運算元，程式碼很簡潔，幾行程式碼就可以實現mapreduce幾個類的工作。

Value型Transformation運算元：map、flatMap、mapPartition、filter、union、distinct、distinct、sample、cache、persist

Key-Value型Transformation運算元：mapValues、reduceByKey、partitionBy

Action運算元：count、foreach、collect、reduce、saveAsTextFile、join、leftOuterJoin、rightOuterJoin

4、支援的場景多

支援批處理、實時處理 Spark Streaming、機器學習 Mllib、圖計算 Graphx

各種處理可以在同一個應用中無縫隙使用

5、生態完善、社群活躍

很容易操作hadoop、hbase、cassandra、kafka

文件很全

Spark的缺點

1、流式計算不如flink

2.3版本以前spark的流式計算是將流資料當成小批量的資料（Micro-batch）進行處理，延遲較高，通常大於百毫秒級別；

2.3版本以後開始支援連續處理模型（類flink）, 但功能不如flink全。

2、資源消耗較高

spark是基於記憶體計算，因此對資源的要求較高，尤其是記憶體；

當從hdfs上讀取很多小檔案生成rdd時，rdd元資料會佔用較多記憶體。

3.如何實現Hadoop與Spark的統一部署？

一方面，由於Hadoop生態系統中的一些元件所實現的功能，目前還是無法由Spark取代的，比如，Storm可以實現毫秒級響應的流計算，但是，Spark則無法做到毫秒級響應。另一方面，企業中已經有許多現有的應用，都是基於現有的Hadoop元件開發的，完全轉移到Spark上需要一定的成本。因此，在許多企業實際應用中，Hadoop和Spark的統一部署是一種比較現實合理的選擇。

由於Hadoop MapReduce、HBase、Storm和Spark等，都可以執行在資源管理框架YARN之上，因此，可以在YARN之上進行統一部署（如圖所示）。這些不同的計算框架統一執行在YARN中，可以帶來如下好處：

 計算資源按需伸縮；

 不用負載應用混搭，叢集利用率高；

 共享底層儲存，避免資料跨叢集遷移。