CentOS7部署CDH6.0.1大資料平臺
阿新 • • 發佈:2018-12-05
Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,簡稱“CDH”),基於Web的使用者介面,支援大多數Hadoop元件,包括HDFS、MapReduce、Hive、Spark、 Hbase、Zookeeper、Sqoop等,簡化了大資料平臺的安裝、使用難度。本文件將演示CDH6.0.1的部署,該版本是目前最新版本,該版本Hadoop生態元件版本可以檢視manifest.json檔案,相關檔案下載地址如下:
- https://archive.cloudera.com/cdh6/6.0.1/parcels/
- https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/
實施環境
主機名 | IP | 配置 | 作業系統 | 角色 |
c1.heboan.com | 9.110.187.120 | 2核/8G | CentOS Linux release 7.2.1511 | cm-server、cm-agent、mariadb5.5 |
c2.heboan.com | 9.110.187.121 | 2核/8G | CentOS Linux release 7.2.1511 | cm-agent |
c3.heboan.com | 9.110.187.122 | 2核/8G | CentOS Linux release 7.2.1511 | cm-agent |
環境說明:
該環境配置非生產環境配置,是本人虛擬機器的配置,一般企業大資料平臺資源配置可如下參考:
測試叢集環境:
機器數量: 5-10臺
機器配置: 硬碟(4TB)、記憶體(24G-32G)、CPU(6核)、網絡卡(萬兆)
生產叢集環境:
小型叢集: 20臺以下
中型叢集: 50臺以下
大型叢集: 50臺以上