1. 程式人生 > >CentOS7+CDH2.7.2安裝

CentOS7+CDH2.7.2安裝

克隆3臺虛擬機器

這裡寫圖片描述

配置虛擬

主機 記憶體 IP 軟體
node1 5G 192.168.2.211 jdk、
node2 2G 192.168.2.212 jdk、
node3 2G 192.168.2.213 jdk、

準備

1、修改IP

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
#重啟網路
/etc/init.d/network restart

2、修改主機名

hostnamectl set-hostname node1
hostnamectl set
-hostname node2 hostnamectl set-hostname node3

3、修改/etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.2.211 node1
192.168.2.212 node2
192.168.2.213 node3

4、配置免密碼登入

ssh-keygen
-t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

將公鑰拷貝到其它要免登入的機器

ssh-copy-id node2
ssh-copy-id node3

將/etc/hosts拷貝到其它的機器

scp /etc/hosts root@node2:/etc
scp /etc/hosts root@node3:/etc

5、安裝JDK

上傳解壓到/opt/jdk1.8.0_91目錄下

設定環境變數

vi ~/.bash_profile

export JAVA_HOME=/opt/jdk1.8.0
_91 export PATH=$PATH:$JAVA_HOME/bin

重新整理環境變數

source ~/.bash_profile

並將JDK拷貝到其它主機

6、安裝ntp同步時間

yum install -y ntp
ntpdate -u ntp.sjtu.edu.cn

7、安裝依賴

yum install -y python bind-utils  psmisc  libxslt  zlib  sqlite  cyrus-sasl-plain  cyrus-sasl-gssapi  fuse  portmap  fuse-libs  redhat-lsb

開始安裝CM

1、下載

#CM下載地址
http://archive-primary.cloudera.com/cm5/cm/5/

#CDH下載地址
http://archive.cloudera.com/cdh5/parcels/4

將.sha1結尾的檔案重新命名為.sha結尾
這裡寫圖片描述

上傳到虛擬機器

2、安裝Cloudera Manager Server、Agent

mkdir /opt/cloudera-manager
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

3、建立使用者cloudera-scm (三臺)

useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4、配置CM Agent (三臺)
修改檔案/opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini中
server_host以及server_port

vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini

5、配置CM Server資料庫 為MySql
拷貝mysql jar檔案到目錄 /usr/share/java/
注意jar包名稱要修改為mysql-connector-java.jar

mkdir /usr/share/java/
cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar

配置MySql

#建立temp使用者並授權
GRANT ALL ON *.* TO 'temp'@'%' IDENTIFIED BY 'temp' WITH GRANT OPTION;
FLUSH PRIVILEGES;

cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h 192.168.2.1 -utemp -ptemp --scm-host node1 scm scm scm
                    格式:資料庫型別、資料庫、資料庫伺服器、使用者名稱、密碼、cm server伺服器

這裡寫圖片描述

6、建立Parcel目錄

Server節點(node1)
    mkdir -p /opt/cloudera/parcel-repo
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent節點(node1、node2、node3)
    mkdir -p /opt/cloudera/parcels
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels


CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel
CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha
manifest.json
移動到:
/opt/cloudera/parcel-repo 資料夾下

7、啟動CM Server、Agent

#啟動服務端(node1)
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server start
#啟動客戶端(node1、node2、node3)
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent start

8、訪問網址測試
檢視啟動日誌:
/opt/cloudera-manager/cm-5.7.2/log/cloudera-scm-server

192.168.2.211:7180

出現如下介面說明啟動成功

這裡寫圖片描述

開始配置CM

1、登入
使用者名稱:admin,密碼admin

2、
免費
這裡寫圖片描述

全選
這裡寫圖片描述

預設
這裡寫圖片描述

等待
這裡寫圖片描述

2個警告
這裡寫圖片描述

解決

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo 10 > /proc/sys/vm/swappiness

然後單機重新執行