當CentOS的一個新版本釋出時，官方會將上一個版本移入到這裡面，當需要安裝或使用舊發行版本時，可以從這裡下載。

在網上偶然找到了一個別人已經搭好的Ambari叢集並且放在了網際網路上，大家可以參考一下：http://tk.5qzone.net:8080

1.生產中的Hadoop叢集機器都很多，而且基本都不允許連線公網，為方便快速部署，非常有必要建立一個本地Repository

2.作業系統環境準備
2.1 配置SSH免密碼登入
主節點裡root使用者登入執行如下步驟
ssh-keygen
cd ~/.ssh/
cat id_rsa.pub >> authorized_keys（可能大家認為這樣做不是多此一舉嗎，但經過試驗證明這步是必須的，如果你把id_rsa.pub用scp到其他機器上的話再ssh還是需要密碼的）
chmod 777 ~/.ssh
注意：

千萬不要執行上面這一步，否則在後面ssh自己需要輸入密碼。經試驗，只要是執行了chmod 777 ~/.ssh後，即使把公鑰複製到其他機器，其他機器再ssh這臺機器都需要輸入密碼
否則在步驟4.2.4會出現如下報錯：

先在從節點登入root執行命令
mkdir ~/.ssh/

分發主節點裡配置好的authorized_keys到各從節點
scp /root/.ssh/authorized_keys [email protected]:/root/.ssh/（可能你認為這一步也是多此一舉，但第一次用遠端命令的時候它不會自動建立連線，它會問你Are you sure you want to continue connecting (yes/no)?只有當你輸入yes後，第二次再連線才會自動連線，要不然在後面4.2.4的時候SY-002會顯示failed，如下圖，我這裡只是為了輸入yes，你也可以直接用ssh命令，輸入yes後第二次就不用輸了）
scp /root/.ssh/authorized_keys

[email protected]:/root/.ssh/
scp /root/.ssh/authorized_keys [email protected]:/root/.ssh/

2.2 建立ambari系統使用者和使用者組
只在主節點操作
新增ambari安裝、執行使用者和使用者組，也可以不建立新使用者，直接使用root或者系統其他賬號
adduser ambari
passwd ambari
密碼：Ambari-123

確保home目錄的寫許可權。
Ambari會建立一些OS使用者。
chmod -R 777 /home

2.3 檢查DNS和NSCD
所有節點都要設定
ambari在安裝時需要配置全域名，所以需要檢查DNS。為了減輕DNS的負擔, 建議在節點裡用 Name Service Caching Daemon (NSCD)（這句不是太明白）
vi /etc/hosts
192.168.205.153 SY-001 SY-001.hadoop
192.168.205.154 SY-002 SY-002.hadoop
192.168.205.155 SY-003 SY-003.hadoop

每臺節點裡配置FQDN，如下以主節點為例
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=SY-001.hadoop

2.4 關閉防火牆
所有節點都要設定
Centos 7 命令
systemctl disable firewalld
systemctl stop firewalld

Centos 6 命令
chkconfig iptables off
/etc/init.d/iptables stop

2.5 關閉SELinux
所有節點都要設定
檢視SELinux狀態：
sestatus

如果SELinux status引數為enabled即為開啟狀態 
SELinux status: enabled
臨時關閉，不用重啟機器：
setenforce 0

修改配置檔案後需要重啟機器：
vi /etc/sysconfig/selinux
SELINUX=disabled

reboot

2.6 開啟NTP服務
所有叢集上節點都需要操作
Centos 7 命令
yum -y install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd

Centos 6 命令
yum install ntpd
chkconfig --list ntpd
chkconfig ntpd 
service ntpd start

3.製作本地源
製作本地源只需在主節點上進行即可
3.1 相關準備工作
3.1.1安裝 Apache HTTP 伺服器
安裝HTTP伺服器，允許http服務通過防火牆(永久，如果防火牆開啟的話。但是前面已經把防火牆永久關閉了，所以這一步也就沒必要做了)
yum -y install httpd
firewall-cmd --add-service=http 
firewall-cmd --permanent --add-service=http

新增 Apache 服務到系統層使其隨系統自動啟動
systemctl start httpd.service
systemctl enable httpd.service

3.1.2 安裝本地源製作相關工具
yum -y install yum-utils createrepo

3.2 下載安裝資源
下載 Ambari 2.2.2 , HDP 2.4.0 的安裝資源,本次安裝是在Centos 7 上，只列出centos7的資源，其他系統的請現在對用系統的資源
Ambari 2.2.2 下載資源
OSFormatURL
CentOS 7Base URLhttp://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0
CentOS 7Repo Filehttp://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0/ambari.repo
CentOS 7Tarball md5 aschttp://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos7.tar.gz

HDP 2.4.0 下載資源
OSRepository NameFormatURL
CentOS 7HDPBase URLhttp://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0
CentOS 7HDPRepo Filehttp://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/hdp.repo
CentOS 7HDPTarball md5 aschttp://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos7-rpm.tar.gz
CentOS 7HDP-UTILSBase URLhttp://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7
CentOS 7HDP-UTILSRepo Filehttp://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz

下載上面列表的中的壓縮包，你也可以不用下載這些壓縮包並不修改hdp.repo和ambari.repo檔案，直接使用公共源安裝，但不管你用哪種方法網速都是很致命的問題，要不然一等就是好幾個小時，簡直要瘋掉

需要下載的壓縮包如下：
Ambari 2.2.2
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos7.tar.gz（645.37MB）
HDP 2.4.0
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos7-rpm.tar.gz （有點大，9.74GB，我250KB/S的網速下了十多個小時，太恐怖了。。。）
（原文章連線給錯了，給成了HDP-2.4.0.0的地址，我一開始就下載成了HDP-2.4.0.0有6.03G，但最終也安裝成功了，倒也不影響什麼。後來又發現下載的HDP-2.4.2.0-centos7-rpm.tar.gz用tar -zxvf命令解壓失敗，我也不知道啥原因，只能用HDP-2.4.0.0-centos7-rpm.tar.gz的了）
HDP-UTILS 1.1.0
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz（694.95MB）

在httpd網站根目錄,預設是即/var/www/html/，建立目錄ambari， 
並且將下載的壓縮包解壓到/var/www/html/ambari目錄
cd /var/www/html/
mkdir ambari
cd /var/www/html/ambari/
tar -zxvf ambari-2.2.2.0-centos7.tar.gz
tar -zxvf HDP-2.4.0.0-centos7-rpm.tar.gz
tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz
注意：解壓之後一定要將這些tar包都刪除了，否則的話會導致你的磁碟不夠用，即使叢集中三臺機器都Success後點開“Click here to see the warnings.”還是在步驟4.2.4有如下圖報錯

驗證httd網站是否可用，可以使用links 命令或者瀏覽器直接訪問下面的地址：
links http://192.168.205.153/ambari/
（如果報-bash: links: command not found的話可能是你沒有安裝，用yum安裝即可，yum -y install links）

結果如下：

3.3 配置ambari、HDP、HDP-UTILS的本地源

首先下載上面資源列表中的相應repo檔案，修改其中的URL為本地的地址，相關配置如下：

ambari.repo：
#VERSION_NUMBER=2.2.2.0-460
[Updates-ambari-2.2.2.0]
name=ambari-2.2.2.0 - Updates
baseurl=http://192.168.205.153/ambari/AMBARI-2.2.2.0/centos7/2.2.2.0-460
gpgcheck=1
gpgkey=http://192.168.205.153/ambari/AMBARI-2.2.2.0/centos7/2.2.2.0-460/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

hdp.repo：
#VERSION_NUMBER=2.4.0.0-169
[HDP-2.4.0.0]
name=HDP Version - HDP-2.4.0.0
baseurl=http://192.168.205.153/ambari/HDP/centos7/2.x/updates/2.4.0.0
gpgcheck=1
gpgkey=http://192.168.205.153/ambari/HDP/centos7/2.x/updates/2.4.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.20]
name=HDP Utils Version - HDP-UTILS-1.1.0.20
baseurl=http://192.168.205.153/ambari/HDP-UTILS-1.1.0.20/repos/centos7
gpgcheck=1
gpgkey=http://192.168.205.153/ambari/HDP/centos7/2.x/updates/2.4.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

將上面的修改過的源放到/etc/yum.repos.d/下面後執行（也可以把其他的.repo檔案都刪除只剩下這兩個要不然在執行下面命令時它會自動更新其他.repo檔案中的內容，這就需要多花你一些時間和網流量了。後來發現如果你要刪的話先把MySQL安裝好了再刪，如果不刪的話忽略）
yum clean all
yum list update
yum makecache
yum repolist

注意：在執行yum list update時可能會報這個錯：
Determining fastest mirrors
Error: No matching Packages to list
解決：Determining fastest mirrors可以解除，但Error: No matching Packages to list還是存在，但也沒有影響最後的安裝
http://blog.sina.com.cn/s/blog_7e513d7e01015j9b.html
其大概意思是fastestmirror不能使用，fastestmirror是yum的一個加速外掛，具體我也沒有仔細瞭解過，可能是系統不支援或者缺少組建導致的。處理辦法就是禁用這個外掛，方法如下：
vi /etc/yum/pluginconf.d/fastestmirror.conf   
enabled=0  #把1改為0  
vi /etc/yum.conf
plugins=1  #將plugins的值修改為0

Ambari安裝會將安裝等資訊寫入資料庫，可以使用自己安裝的MySQL資料庫，也可以不安裝而使用預設資料庫PostgreSQL。

3.4 安裝Mysql資料庫

安裝完成後建立ambari資料庫及使用者，登入root使用者執行下面語句：
create database ambari character set utf8 ;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

如果要安裝Hive，再建立hive資料庫和使用者 再執行下面的語句：
create database hive character set utf8 ;  
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

如果要安裝Oozie，再建立Oozie資料庫和使用者 再執行下面的語句：
create database oozie character set utf8 ;  
CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;

安裝mysql jdbc驅動
yum -y install mysql-connector-java

3.4 安裝JDK(我這個Centos7.2安裝後居然沒有預設安裝jdk，Python倒是預設安裝了，讓我很是奇怪，因為根據以往安裝Linux的經驗都會預設安裝一個相應版本的jdk啊)
所有節點都要，先到官網下載jdk-8u91-Linux-x64.tar.gz，再執行下面命令：

mkdir /opt/java
tar -zxvf jdk-8u91-linux-x64.tar.gz -C /opt/java/
vi /etc/profile
export JAVA_HOME=/opt/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
source /etc/profile

4.進行安裝Ambari
4.1 安裝Ambari2.2.2
4.1.1安裝Ambari
yum -y install ambari-server
可能會報錯：

Error: Package: ambari-server-2.2.2.0-460.x86_64 (Updates-ambari-2.2.2.0)
           Requires: postgresql-server >= 8.1
 You could try using --skip-broken to work around the problem
 You could try running: rpm -Va --nofiles --nodigest

解決：還得將映象掛載才正常，在VMware中裝置狀態“已連線”勾選後，選擇你映象所存放的位置後修改CentOS-Media.repo 檔案：
[[email protected] yum.repos.d]# vi CentOS-Media.repo 
[c7-media]
name=CentOS-$releasever - Media
baseurl=file:///media/
gpgcheck=1
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
[[email protected] yum.repos.d]# mount /dev/cdrom /media/（這一步很重要，當的你重啟虛擬機器後也要重新掛載，否則安裝失敗）
mount: /dev/sr0 is write-protected, mounting read-only

再次執行yum -y install ambari-server

4.1.2配置Ambari
ambari-server setup

下面是配置執行流程，按照提示操作
1.檢查SELinux是否關閉，如果關閉不用操作

Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'

2.提示是否自定義設定。輸入：y
Customize user account for ambari-server daemon [y/n] (n)? y

3.ambari-server 賬號。輸入：ambari
Enter user account for ambari-server daemon (root):ambari
Adjusting ambari-server permissions and ownership...

4.檢查防火牆，如果關閉則不用操作
Checking firewall status...
Redirecting to /bin/systemctl status  iptables.service

5.設定JDK。輸入：3
Checking JDK...
Do you want to change Oracle JDK [y/n] (n)? y
[] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[] Custom JDK
==============================================================================
Enter choice (1): 3

6.如果上面選擇3自定義JDK,則需要設定JAVA_HOME。輸入：/opt/java/jdk1.8.0_91
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /opt/java/jdk1.8.0_91
Validating JDK on Ambari Server...done.
Completing setup...

7.資料庫配置。選擇：y
Configuring database...
Enter advanced database configuration [y/n] (n)? y

8.選擇資料庫型別。輸入：1
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
==============================================================================
Enter choice (1): 3

9.設定資料庫的具體配置資訊，根據實際情況輸入，如果和括號內相同，則可以直接回車。
Hostname (localhost): 
Port (3306): 
Database name (ambari): 
Username (ambari): 
Enter Database Password (bigdata): 這裡填Ambari-123
Re-enter password: 
Configuring ambari database...
Copying JDBC drivers to server resources...
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? y
Extracting system views...
ambari-admin-2.2.2.0.460.jar
......
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

10.將Ambari資料庫指令碼匯入到資料庫
如果使用自己定義的資料庫，必須在啟動Ambari服務之前匯入Ambari的sql指令碼
用Ambari使用者（上面設定的使用者）登入mysql
mysql -u root -p
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

4.1.3啟動Amabri
執行啟動命令，啟動Ambari服務
ambari-server start

成功啟動後在瀏覽器輸入Ambari地址：
http://sy-001.hadoop:8080/（原文章說直接輸入主機名就可以，但我輸入該地址卻無法訪問此網站，還必須得輸入本機IP，如http://192.168.205.153:8080/）

出現登入介面，預設管理員賬戶登入，賬戶：admin 密碼：admin

可能你在這一步就總是無法找到網頁，或者出現下圖

檢視/var/log/ambari-server/ambari-server.out發現有Caused by: java.sql.SQLException: Access denied for user 'ambari'@'SY-001' (using password: YES)
在mysql中執行如下操作：
授權：grant all privileges on *.* to [email protected]'SY-001' identified by 'Ambari-123';
重新整理：flush privileges;
再重啟Ambari：ambari-server restart

登入成功後出現下面的介面，至此Ambari的安裝成功

4.2 安裝HDP 2.4.0配置叢集

點選上面登入成功頁面的Launch Install Wizard 按鈕進行叢集配置
4.2.1設定叢集名稱 

4.2.2設定HDP安裝源
選擇HDP2.4 ,並且設定Advanced Repository Options 的資訊，本次使用本地源，所以修改對用系統的安裝源為本地源地址。

4.2.3設定叢集機器 （私鑰檔案地址/root/.ssh/id_rsa）

4.2.4 Host 確認
確認前面配置叢集中hosts列表中的機器是否都可用，也可以移除相關機器，叢集中機器Success後進行下一步操作。 

4.2.5 選擇要安裝的服務

4.2.6 各個服務Master配置 

4.2.7 服務的Slaves和Clients節配置（我選擇的是預設）

4.2.8 服務的客製化配置，這些引數待叢集建好後都是可以再調整的。（有些元件需要讓你設定密碼）

4.2.9 顯示配置資訊 

4.2.10 開始安裝
安裝各個服務，並且完成安裝後會啟動相關服務，安裝過程比較長，如果中途出現錯誤，請根據具體提示或者log進行操作。 

結果卻安裝失敗：

點選安裝失敗的節點的”Failures encountered“，再點選”DataNode Install“檢視相應的錯誤日誌：

解決：在sy-001.hadoop節點上執行以下命令
rpm -e snappy-1.1.0-3.el7.x86_64
yum -y install snappy-1.0.5-1.el6.x86_64

安裝過程可以隨時檢視每個節點的安裝進度及日誌 

結果快完事的時候又報這個警告：

整了半天也不知道啥原因，於是我就將虛擬機器還原快照後又重新來了一遍，結果再到這步的時候卻不報那個警告了，我也是醉了。。。

我忽略了警告直接進行了下一步

後來我又先在步驟4.2.5只選擇安裝ZooKeeper，安裝成功之後再新增Ambari Metrics

當Ambari Metrics安裝成功之後再新增HDFS和YARN+MapReduce2，這樣安裝感覺更好一些

4.2.11安裝完成，感覺安裝完也不是很穩定，總是時不時的有紅色的警報（alert），看的很不爽，後來偶爾又沒有警報達到了下面的比較好的狀態（那個橙黃色的是Warning，我的SY-001.hadoop容量用了68.24%而導致的警告）

而且也很吃機器的記憶體和磁碟，安裝完之後導致我的PC很卡。個人感覺這個ambari並不是很好用，安裝的時候就感覺很吃力，需要下載很多東西並且還很大，如果你網速不行的話你簡直就要瘋掉了，而且安裝的時候也會有莫名其妙的問題，即使安裝好了還不時的有警報，我感覺還沒有我手動安裝來的快吶。還有就是它安裝的是HDP版的hadoop相關元件，我個人來說還是用慣了cdh版的hadoop了，感覺hdp版本並沒有cdh版本要普及。可能就是統一管理更方便一些，圖形化介面更形象一些吧。有時間再研究研究Cloudera Manager吧，比較一下這兩個哪個更好些。以上純屬個人觀點，不喜勿噴。

參考：
http://www.linuxidc.com/Linux/2016-12/138478.htm
http://blog.csdn.net/ma141982/article/details/73497646