大資料基礎學習筆記(安裝CDH的環境配置)
1.下載軟體地址((以centos7.4))
CDH安裝包地址:
http://archive.cloudera.com/cdh5/parcels/5.14.0/
CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel
CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1
manifest.json
Cloudera Manager下載地址:
http://archive.cloudera.com/cm5/cm/5/
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el7-cm5.14.0_x86_64.tar.gz
2.網路配置
vim /etc/sysconfig/network
vim /etc/hosts
(內網)
3.SSH免密匙登入
1.生成RSA祕鑰對
在XShell下方輸入框中輸入命令ssh-keygen -t rsa,然後回車執行。再回車3次,即可生成RSA祕鑰對
2.檢視金鑰對檔案
ls .ssh
id_rsa 私鑰
id_rsa.pub 公鑰
3.將每個節點的公鑰拷貝到authorized_keys
可以通過命令ssh-copy-id,將本機公鑰複製到其他節點的authorized_keys目錄,這樣本機即可免祕鑰登入其他節點。
(按照提示輸入“yes”和密碼,即可將node1的公鑰複製到node1、node2和node3節點。(複製本機,可以實現免密登入本機))
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
在三個節點都執行
4.測試免密登入
ssh node1
ssh node2
ssh node3
在三個節點中檢視ls .ssh ,ll .ssh,cat .ssh/authorized_keys,cat .ssh/known_hosts
5.退出ssh登入
exit
4.防火牆關閉
service iptables stop
chkconfig iptables off
(本人是買的阿里雲伺服器,檢視關閉防火牆地址https://www.jianshu.com/p/4a9958d2e859)
5.selinux關閉
setenforce 0 (臨時生效)
修改 /etc/selinux/config 下的 SELINUX=disabled (重啟後永久生效)
6.安裝jdk1.8,環境變數
JAVA_HOME=/usr/java/jdk1.8.0_161
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
立即生效source /etc/profile
檢查是否成功java -version
7.安裝NTP
yum install ntp 安裝NTP
systemctl enable ntpd.service 自啟動
pgrep ntpd //檢視相關程序
service ntpd status 查詢ntpd的狀態
ntpdate -u ntp.sjtu.edu.cn 時間的誤差
配置NTP服務(所有節點)
叢集中所有主機必須保持時間同步,如果時間相差較大會引起各種問題。
具體思路如下:
master節點作為ntp伺服器與外界對時中心同步時間,隨後對所有slave節點提供時間同步服務。
所有slave節點以master節點為基礎同步時間。
所有節點安裝相關元件:yum install ntp。完成後,
配置開機啟動:chkconfig ntpd on,檢查是否設定成功:chkconfig --list ntpd其中2-5為on狀態就代表成功。
主節點配置
在配置之前,先使用ntpdate手動同步一下時間,免得本機與對時中心時間差距太大,使得ntpd不能正常同步。
這裡選用0.asia.pool.ntp.org作為對時中心,ntpdate 0.asia.pool.ntp.org。
ntp服務只有一個配置檔案(/etc/ntp.conf),配置好了就OK。
這裡只給出有用的配置,不需要的配置都用#注掉,這裡就不在給出:
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
server 0.asia.pool.ntp.org prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
配置檔案完成,儲存退出,啟動服務,執行如下命令:service ntpd start
檢查是否成功,用ntpstat命令檢視同步狀態,出現以下狀態代表啟動成功:
如果出現異常請等待幾分鐘,一般等待5-10分鐘才能同步。
配置ntp客戶端(所有slave節點)
driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict -6 ::1
server node1
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
儲存退出,請求伺服器前,請先使用ntpdate手動同步一下時間:
ntpdate -u node1 (主節點ntp伺服器)
啟動服務:
service ntpd start
如果時間同步不成功可以看看網址http://blog.itpub.net/26524307/viewspace-1063924/
8.安裝mysql
可以參考的《學習hadoop遇到的問題(安裝mysql時,密碼找不到)》這篇文章
9.下載第三方依賴包
線上安裝命令 yum install
需要安裝的第三方依賴包
chkconfig
python
bind-utils
psmisc
libxslt
zlib
sqlite
fuse
fuse-libs
redhat-lsb
cyrus-sasl-plain
cyrus-sasl-gssapi
yum install chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi