安裝環境

JDK版本：1.8

linux版本：CentOS7

CDH版本：5.11.1

叢集

這裡我使用虛擬機器搭建了三臺叢集，一臺Master，兩臺Slave

步驟介紹

環境介紹完了，現在我們就開始安裝CDH，安裝步驟分為以下幾步：

1.虛擬機器配置

2.JDK安裝與配置

3.MySQL安裝

4.安裝CM（Cloudera Manager）

5.Agent安裝

6.向叢集新增新主機

7.設定自啟動服務

虛擬機器配置

Linux CentOS7系統安裝就跳過了，這個百度，要確保的以下幾點：

1.三臺主機防火牆關閉，並設定為開機不啟動

2.三臺主機可以進行免密訪問

3.三臺主機/etc/hosts配置對映

4.Master時間同步：

    執行：

yum install ntp -y

vi /etc/ntp.conf

# 1. 先處理許可權方面的問題，包括放行上層伺服器以及開放區網使用者來源：

restrictdefault kod nomodify notrap nopeer noquery    <==拒絕 IPv4 的使用者

restrict -6default kod nomodify notrap nopeer noquery <==拒絕 IPv6 的使用者

restrict 220.130.158.71   <==放行 tock.stdtime.gov.tw 進入本 NTP 伺服器

restrict59.124.196.83    <==放行 tick.stdtime.gov.tw 進入本 NTP 伺服器

restrict59.124.196.84    <==放行 time.stdtime.gov.tw 進入本 NTP 伺服器

restrict127.0.0.1        <==底下兩個是預設值，放行本機來源

restrict -6 ::1

restrict 192.168.100.0mask 255.255.255.0 nomodify <==放行區網來源

 

# 2. 設定主機來源，請先將原本的 [0|1|2].centos.pool.ntp.org 的設定註解掉：

server220.130.158.71 prefer  <==以這部主機為最優先

server59.124.196.83

server59.124.196.84

 

# 3.預設時間差異分析檔案與暫不用到的 keys 等，不需要更動它：

driftfile/var/lib/ntp/drift

keys      /etc/ntp/keys
 

    可以直接把以上內容cv進去，除了中文以外。

    執行：

service ntpd start

    可以使用“Ntpstat”命令檢視同步狀態，但是第一次使用時，同步時間可能需要十分鐘。

    當我們檢視狀態時出現以下情況，表示同步成功：

    到此為止，虛擬機器基本配置就ojbk了。。。

JDK安裝與配置

下載，解壓，配置環境變數，為了方便複製：

echo 'export JAVA_HOME=/opt/jdk1.8.0_161' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile

MySQL安裝

略。。。

開個玩笑，MySQL安裝過程有點繁瑣，我直接貼一個自動化安裝指令碼，修改一下就可以用了（Master必須安裝，兩臺Slave就不用了）：

tar -zxvf mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz
mv mysql-5.6.33-linux-glibc2.5-x86_64 /usr/local/mysql
groupadd mysql 
useradd -g mysql -M mysql
mkdir -p /wjy/mysql/data
chown -R mysql.mysql /wjy/mysql/data
yum install perl -y
yum install -y perl-Module-Install.noarch 
/usr/local/mysql/scripts/mysql_install_db --basedir=/usr/local/mysql --datadir=/wjy/mysql/data --user=mysql
#修改配置檔案
sed -i "s?# basedir = .....?basedir = /usr/local/mysql?g" /usr/local/mysql/my.cnf
sed -i "s?# datadir = .....?datadir = /wjy/mysql/data?g" /usr/local/mysql/my.cnf
sed -i "s?# port = .....?port = 3306?g" /usr/local/mysql/my.cnf
cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
chkconfig --add mysqld 
chkconfig mysqld on
mkdir /var/log/mariadb
/etc/init.d/mysqld start
ln -s /var/lib/mysql/mysql.sock /tmp/mysql.sock
/usr/local/mysql/bin/mysqladmin -u root password '1234'
service mysqld restart
echo 'export MYSQL_HOME=/usr/local/mysql' >> /etc/profile
echo 'export PATH=$PATH:$MYSQL_HOME/bin' >> /etc/profile
source /etc/profile
mysql -uroot -p1234 -e "GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '1234' WITH GRANT OPTION;FLUSH PRIVILEGES;"
#刪除多於使用者用於遠端CDH在安裝時密碼不正確
mysql -uroot -p1234 -e "delete from mysql.user where host<>'%';"
service mysqld restart

切記修改解壓目錄以及你的mysql安裝包的名字！！！

安裝CM（Cloudera Manager）

1.建立目錄：

mkdir /opt/cloudera-manager

2.解壓：

tar -zxvf cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz -C /opt/cloudera-manager/

3.建立cloudera-scm使用者：

useradd --system --home=/opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4.本地元資料存放目錄：

mkdir /var/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/cloudera-scm-server
chown cloudera-scm:cloudera-scm /opt/cloudera-manager.

5.將本機作為一個客戶端：

vi /opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent/config.ini

6.建立倉庫：

mkdir -p /opt/cloudera/parcel-repo
cp CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel /opt/cloudera/parcel-repo/
cp CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha /opt/cloudera/parcel-repo/
cp manifest.json /opt/cloudera/parcel-repo/

7.建立存放目錄（因為我們本機需要一個agent，從伺服器下載下來的一些元件，應該放在該目錄下）：

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

8.加入mysql包：

注意：這個mysql的包名字只能叫“mysql-connector-java.jar” *3（重要的事情說三遍）

mkdir -p /usr/share/java
cp mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar

9.初始化MySQL：

/opt/cloudera-manager/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql -hMaster -uroot -p1234 --scm-host Master scmdbn root 1234

這裡叫你輸入兩次使用者名稱密碼的意思是，一個是連線用的，一個是操作資料庫用的，如果你的這個資料庫使用者有最高許可權，那兩個地方就填同一個使用者。

這一步最容易出錯，原因有很多，大部分原因是因為你的資料庫jar包沒有正確的加入。

10.啟動：

很強，如果以上步驟不出錯，就可以啟動了：

cd /opt/cloudera-manager/cm-5.11.1/etc/init.d
./cloudera-scm-server start 
./cloudera-scm-agent start

這裡如果報了一個什麼psmisc的錯，就安裝一下：

yum install -y psmisc

11.訪問：

通過訪問：http://192.167.17.200:7180，就可以進入到登陸介面，埠號可以在第5步的配置檔案裡配置。

使用者名稱：admin，密碼：admin

12.首次配置：

我就直接貼圖了：

這裡一定要選擇你對應的版本。

兩個警告，不要捉急：

echo 10 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

重新執行一下就可以了，當然，這兩個警告也不影響使用。

虛擬機器記憶體堪憂，就只安裝一個HDFS吧。。。

到此，Server伺服器就安裝完畢了。

Agent安裝

Slave安裝賊簡單。

1.虛擬機器配置時間同步：

yum install ntp

進入etc/ntp.conf

ftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1

# 配置時間伺服器為本地的時間伺服器
server 192.168.17.200 #這裡配置的是Master的IP

restrict 192.168.17.200 nomodify notrap noquery #這裡同上

server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

輸入地址進行測試：

ntpdate -u 192.167.17.200

重啟：service ntpd start

2.安裝agent，也是一步一步來：

mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz -C   /opt/cloudera-manager
useradd --system --home=/opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
vi /opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent/config.ini
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

啟動：

cd /opt/cloudera-manager/cm-5.11.1/etc/init.d
./cloudera-scm-agent start

向叢集新增新主機

安裝好Agent後，你就可以在叢集上看見新主機：

這裡的兩個警告同Server一樣。

點選繼續，新主機就可以加入叢集了。

設定自啟動服務

1.將服務端設定為自啟動：

cp /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
vi /etc/init.d/cloudera-scm-server 

在檔案中查詢：CMF_DEFAULTS，修改內容為：/opt/cloudera-manager/cm-5.11.1/etc/default

chkconfig cloudera-scm-server on
service cloudera-scm-server start

2.將客戶端設定為自啟動

cp /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
vi /etc/init.d/cloudera-scm-agent

在檔案中查詢：CMF_DEFAULTS，修改內容為：/opt/cloudera-manager/cm-5.11.1/etc/default

chkconfig cloudera-scm-agent on
service cloudera-scm-agent start

    最後，如果你安裝好Agent後，CDH叢集上找不到你的主機，那說明你的虛擬機器是克隆過來的，需要修改它的mac地址，建議最好不要直接克隆。

    如果查詢Host Monitor 時發生內部錯誤，

刪除：/var/lib/cloudera-host-monitor後，重啟server，agent服務。