版本;

Linux: CentOS6.6

臨時節點規劃：

   

一、五臺虛擬機器的搭建

參考：https://blog.csdn.net/qq_36269293/article/details/79854531

主要是第一臺linux的搭建，克隆之後：

修改主機名：

修改IP地址：

驗證是否能夠聯網等問題

二、叢集環境的搭建

五臺機器搭建完成之後，現在搭建叢集，搭建之前要安裝一些元件：

1. 安裝元件

        yum –y install httpd

yum –y install ntp

yum -y install yum-utils

yum -y install wget

yum -y install createrepo

yum -y install openssl

yum -y install ruby*

yum -y install redhat-lsb*

yum -y install snappy*

2.重啟元件

設定開機自啟動：
    chkconfig ntpd on

    chkconfig httpd on
重啟元件
    service ntpd restart

    service httpd restart

檢視時間是否一致

    date

不一致的話重啟即可：

    reboot

3.安裝JDK，配置環境變數
   
   vi /etc/profile   

   export JAVA_HOME=/usr/local/apps/java/jdk1.8.0_60
   
   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JRE_HOME=$JAVA_HOME/jre
   
   export PATH=$JAVA_HOME/bin:$PATH 
   
  重新整理：
   source /etc/profile
  
  驗證： 
   java -version
   




4.修改selinx和禁用THP


   vi /etc/selinux/config
   修改成：   SELINUX=disabled   
   
   
   vi /etc/rc.d/rc.local
   
   新增：
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi


  重啟：
  reboot


   驗證：
cat /sys/kernel/mm/transparent_hugepage/defrag


cat /sys/kernel/mm/transparent_hugepage/enabled




5.安裝Mysql


   解壓
   tar -xvf MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar -C /usr/local/apps/mysql/
   檢視系統自帶mysql
   rpm -qa  | grep  mysql  
   刪除系統自帶mysql
   rpm -e mysql-libs-5.1.73-3.el6_5.x86_64 --nodeps
   安裝服務端
   rpm -ivh MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpm 
   安裝客戶端
   rpm -ivh MySQL-client-5.6.26-1.linux_glibc2.5.x86_64.rpm 
   啟動mysql
   service mysql start
   檢視臨時密碼
   cat /root/.mysql_secret
   修改密碼
   /usr/bin/mysql_secure_installation
 
6.登入Mysql，建立資料庫以及使用者
   
    mysql -uroot -pgygh123


建立資料庫


create database gygh character set utf8;
create database ambari character set utf8;
create database hive character set utf8;
create database oozie character set utf8;


建立使用者


CREATE USER "gygh"@"%"IDENTIFIED BY "gygh123";
CREATE USER "ambari"@"%"IDENTIFIED BY "ambari123";
CREATE USER "hive"@"%"IDENTIFIED BY "hive123";
CREATE USER "oozie"@"%"IDENTIFIED BY "oozie123";


賦許可權


grant all privileges on *.* to 'gygh'@'%' identified by 'gygh123' with grant option;
grant all privileges on *.* to 'ambari'@'%' identified by 'ambari123' with grant option;
grant all privileges on *.* to 'hive'@'%' identified by 'hive123' with grant option;
grant all privileges on *.* to 'oozie'@'%' identified by 'oozie123' with grant option;


重新整理
 FLUSH PRIVILEGES;
 FLUSH PRIVILEGES;
 FLUSH PRIVILEGES;
   


7.安裝Ambari
 
建立資料夾


         mkdir  -p  /var/www/html/ambari
mkdir  -p  /var/www/html/hdp
mkdir  -p  /var/www/html/hdp/HDP-UTILS-1.1.0.21 


解壓Ambari到資料夾
    cd /usr/local/apps/bakDIR

tar -zvxf ambari-2.4.1.0-centos6.tar.gz -C /var/www/html/ambari/
tar -zvxf HDP-2.5.0.0-centos6-rpm.tar.gz -C /var/www/html/hdp/
tar -zvxf HDP-UTILS-1.1.0.21-centos6.tar.gz  -C /var/www/html/hdp/HDP-UTILS-1.1.0.21


清空yum


   yum clean all
  
配置yum源


cd /etc/yum.repos.d/


wget –nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.1.0/ambari.repo -O/etc/yum.repos.d/ambari.repo
  
wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.0.0/hdp.repo -O /etc/yum.repos.d/hdp.repo



vi ambari.repo


#VERSION_NUMBER=2.4.1.0-22


[Updates-ambari-2.4.1.0]
name=ambari-2.4.1.0 - Updates
baseurl=http://node06/ambari/AMBARI-2.4.1.0/centos6/
gpgcheck=1
gpgkey=http://node06/ambari/AMBARI-2.4.1.0/centos6/2.4.1.0-22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


vi hdp.repo


#VERSION_NUMBER=2.5.0.0-1245
[HDP-2.5.0.0]
name=HDP Version - HDP-2.5.0.0
baseurl=http://node06/hdp/HDP/centos6/
gpgcheck=1
gpgkey=http://node06/hdp/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1




[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://node06/hdp/HDP-UTILS-1.1.0.21/
gpgcheck=1
gpgkey=http://node06/hdp/HDP-UTILS-1.1.0.21/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
  
createrepo


         createrepo /var/www/html/hdp/HDP/centos6/
 
createrepo /var/www/html/hdp/HDP-UTILS-1.1.0.21/
 
createrepo /var/www/html/ambari/AMBARI-2.4.1.0/centos6/

  yum makecache
  
  yum repolist    

瀏覽器端：http://node06/ambari/   （windows端配置ip地址對映的前提下，沒有配置需要把node06換成ip地址）

                http://node06/hdp/

               

檢視是否有檔案存在

安裝ambari：

  yum -y install ambari-server

ambari-server setup（根據提示一步步安裝）

  
      echo $JAVA_HOME  
 
建立 /usr/share/java
將mysql-connector-java-5.1.17.jar 複製到該資料夾下
建立軟連結  ln -s mysql-connector-java-5.1.17.jar mysql-connector-java.jar


備註：如果啟動出現缺失驅動問題，可以執行以下操作： 
yum install mysql-connector-java 或者將驅動包放在/usr/share/java 下載入驅動進 ambari 的設定中
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.17.jar  登入mysql：
執行以下操作：
use ambari

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

安裝完成之後啟動：

ambari-server start

在瀏覽器端訪問：http://node06:8080/

剩下的就是安裝各種元件了。

******************************************************************************************************************************

node01
node02
node03
node04
node05
node06






python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=node01
python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=node02
python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=node03
python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=node04
python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=node05








hive啟動命令;




beeline> !connect jdbc:hive2://node04:10000


/usr/hdp/2.5.0.0-1245/hive/bin/beeline -u jdbc:hive2://node06:10000 -n root