一、HDP

（一）簡介

HDP全稱是Hortonworks Data Platform，是由一家美國大資料公司Hortonworks開發的企業級Hadoop平臺。
Hortonworks致力於幫助客戶利用Hadoop開源大資料平臺管理資料。HDP是完全在開源的環境下設計、開發和構建的，它以 YARN 作為其架構中心，該平臺支援一系列處理方法——批處理、互動式處理、實時處理。

（二）功能與特點

HDP的功能包括資料管理、資料訪問、資料管制與整合、運營、安全性。圖1.2.1是HDP的功能架構。

圖1.2.1

1. 資料管理

圖1.2.2

YARN和HDFS是HDP的核心元件。YARN是一種資源管理器，可以給上層應用提供統一的資源管理和排程。YARN將資源管理元件和任務處理元件分離，提供可插拔架構，可以支援廣泛的資料訪問方法。
HDFS 是一種分散式檔案系統，它為大資料提供了有效可靠的儲存，使得我們在大規模叢集中以低成本更有效地儲存共享資料集。

2. 資料訪問

圖1.2.3

（1）YARN
YARN給各種處理引擎提供基礎，HDP允許使用者和資料以多種並行方式進行互動，並不需要為每個資料集或應用程式建立單獨的叢集，這樣應用程式可以以最佳方式和資料互動。
Strom和Spark能滿足這些需求，HDP作為真正的資料平臺，它基於YARN的架構能夠使盡可能廣泛的訪問方法共存於叢集中，而避免不必要的、昂貴的資料儲存成本。
（2）資料訪問方式
HDP提供的資料訪問方式有批處理，指令碼，互動式SQL查詢， 使用NoSQL低延遲，基於Solr的搜尋和流處理。
Apache MapReduce是Hadoop預設的處理引擎，已經得到了廣泛的測試和信賴。Apache Pig作為一種指令碼語言，可以在MapReduce和Apache Tez 上執行，能夠做到對資料進行聚集、分類等。Apache Hive 可以進行互動式、批量SQL查詢。而Apache Hbase 則提供及其快速的NoSQL訪問。Apache Strom 能夠實時處理流資料，即當資料流入HDFS時分析資料。

3.資料管理與整合

HDP是通過用語資料管理和整合的強大工具擴充套件資料訪問和管理的，這些工具提供可靠可重複使用的以及簡單的框架來管理資料流在 Hadoop 中的進出。Hortonworks 和所有資料管理提供商具有工程關係，支援將他們的工具與 HDP 進行協作、整合。

4. 安全性

HDP從多次層次角度加入、集成了安全性，它提供了用於身份驗證、授權、可歸責性以及資料保護的關鍵功能，確保 HDP 安全。HDP 在所有企業 Hadoop 功能上保持方法一致，而且確保我們可整合和擴充套件自己當前的安全解決方案，在企業現代化資料架構上提供單一、一致、安全的保護。

5 運營

HDP 提供一整套運營功能，使運營團隊在企業資料生態系統中部署、監控和管理 Hadoop 群集。HDP不僅提供群集執行狀況的可見性，還提供工具來管理配置優化效能。Apache Ambari 作為HDP的管理工具，提供 了API ，可在現有叢集基礎上簡單容易地擴充套件服務，增加元件。

（三）叢集部署選項

圖1.3.1

HDP 為Hadoop提供了最廣泛的部署選項：它支援從Windows Server或Linux，到虛擬雲部署，是可移植性最高的Hadoop發行版，允許使用者輕易地在不同部署型別之間進行遷移。
HDP不僅是開源的，而且是通過社群完全在開放的環境中構建的。雖然通過釋出到github可以很方便的將專用hadoop擴充套件成開源的，但是隨之而來會有相容性問題。而社群導向的開發，通過結合跨各種公司的技術，質量更加可靠。對於企業而言，HDP為之提供了高度可靠、管理便捷、高擴充套件性的叢集服務，也為大資料分析提供了十分有效的平臺。