CentOS7+CDH2.7.2安裝
克隆3臺虛擬機器
配置虛擬機
主機 | 記憶體 | IP | 軟體 |
---|---|---|---|
node1 | 5G | 192.168.2.211 | jdk、 |
node2 | 2G | 192.168.2.212 | jdk、 |
node3 | 2G | 192.168.2.213 | jdk、 |
準備
1、修改IP
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
#重啟網路
/etc/init.d/network restart
2、修改主機名
hostnamectl set-hostname node1
hostnamectl set -hostname node2
hostnamectl set-hostname node3
3、修改/etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.2.211 node1
192.168.2.212 node2
192.168.2.213 node3
4、配置免密碼登入
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
將公鑰拷貝到其它要免登入的機器
ssh-copy-id node2
ssh-copy-id node3
將/etc/hosts拷貝到其它的機器
scp /etc/hosts root@node2:/etc
scp /etc/hosts root@node3:/etc
5、安裝JDK
上傳解壓到/opt/jdk1.8.0_91目錄下
設定環境變數
vi ~/.bash_profile
export JAVA_HOME=/opt/jdk1.8.0 _91
export PATH=$PATH:$JAVA_HOME/bin
重新整理環境變數
source ~/.bash_profile
並將JDK拷貝到其它主機
6、安裝ntp同步時間
yum install -y ntp
ntpdate -u ntp.sjtu.edu.cn
7、安裝依賴
yum install -y python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
開始安裝CM
1、下載
#CM下載地址
http://archive-primary.cloudera.com/cm5/cm/5/
#CDH下載地址
http://archive.cloudera.com/cdh5/parcels/4
將.sha1結尾的檔案重新命名為.sha結尾
上傳到虛擬機器
2、安裝Cloudera Manager Server、Agent
mkdir /opt/cloudera-manager
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
3、建立使用者cloudera-scm (三臺)
useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
4、配置CM Agent (三臺)
修改檔案/opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini中
server_host以及server_port
vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini
5、配置CM Server資料庫 為MySql
拷貝mysql jar檔案到目錄 /usr/share/java/
注意jar包名稱要修改為mysql-connector-java.jar
mkdir /usr/share/java/
cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar
配置MySql
#建立temp使用者並授權
GRANT ALL ON *.* TO 'temp'@'%' IDENTIFIED BY 'temp' WITH GRANT OPTION;
FLUSH PRIVILEGES;
cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h 192.168.2.1 -utemp -ptemp --scm-host node1 scm scm scm
格式:資料庫型別、資料庫、資料庫伺服器、使用者名稱、密碼、cm server伺服器
6、建立Parcel目錄
Server節點(node1)
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent節點(node1、node2、node3)
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
將
CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel
CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha
manifest.json
移動到:
/opt/cloudera/parcel-repo 資料夾下
7、啟動CM Server、Agent
#啟動服務端(node1)
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server start
#啟動客戶端(node1、node2、node3)
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent start
8、訪問網址測試
檢視啟動日誌:
/opt/cloudera-manager/cm-5.7.2/log/cloudera-scm-server
192.168.2.211:7180
出現如下介面說明啟動成功
開始配置CM
1、登入
使用者名稱:admin,密碼admin
2、
免費
全選
預設
等待
2個警告
解決
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo 10 > /proc/sys/vm/swappiness
然後單機重新執行