2. 程式人生 > >Ubuntu安裝Cloudera Manager以及CDH5.15.2

Ubuntu安裝Cloudera Manager以及CDH5.15.2

阿新 • • 發佈：2020-07-30
一、機子分配

注意，本安裝教程是在真機上進行，而非虛擬機器。另，此次搭建主要的目的是搭建測試環境，讓Hadoop各元件能夠運作起來即可，完成搭建後，將用小資料量進行相關資料的計算與測試。線上環境將會使用阿里雲主機。

以下是四臺真機配置：

機子內網IP地址

主機名

記憶體大小

磁碟大小

CPU

192.168.0.29

bigdata01（主）

8GB

2T

1個物理CPU，4核

192.168.0.133

bigdata02（從）

8GB

500GB

1個物理CPU，2核

192.168.0.135

bigdata03（從）

8GB

500GB

1個物理CPU，2核

192.168.0.115

bigdata04（從）

8GB

500GB

1個物理CPU，2核

根據機子的配置，建議Hadoop的NameNode放在29這臺機子上，配置高可用的話，NameNodeStandby放在除29以外任意一臺機子均可，DataNode四臺機子都要配。其它元件如何放置，後續會說到。

 

Tips：

在linux系統環境下，檢視機子的記憶體大小命令：cat /proc/meminfo |grep MemTotal

 

 

檢視機子的硬碟大小：fdisk -l | grep Disk

 

檢視機子的CPU情況：

有兩個公式可以記一下：總核數 = 物理CPU個數 * 每顆物理CPU的核數；

總邏輯CPU數 = 物理CPU個數 * 每顆物理CPU的核數 * 超執行緒數

檢視物理CPU個數：cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

檢視每個物理CPU的核數：cat /proc/cpuinfo| grep "cpu cores"| uniq

檢視邏輯CPU的個數：cat /proc/cpuinfo| grep "processor"| wc -l

 

二、下載相關檔案 1、ubuntu系統

http://old-releases.ubuntu.com/releases/16.04.3/ubuntu-16.04.4-server-amd64.iso

關於作業系統的選擇，其實區別不大，這種級別的問題，對我這種水平的人，不太能夠感知得到，當然會繼續努力，去感知作業系統級別的問題。

2、cloudera manager相關下載

先下載好來，然後傳到各個節點上去，不然安裝過程中下載，速度慢得讓你分分鐘想砸鍵盤。

tar包下載：

https://archive.cloudera.com/cm5/cm/5/cloudera-manager-xenial-cm5.15.2_amd64.tar.gz

 

parcles下載：

http://archive.cloudera.com/cdh5/parcels/5.15.2/CDH-5.15.2-1.cdh5.15.2.p0.3-xenial.parcel

http://archive.cloudera.com/cdh5/parcels/5.15.2/CDH-5.15.2-1.cdh5.15.2.p0.3-xenial.parcel.sha1

http://archive.cloudera.com/cdh5/parcels/5.15.2/manifest.json

 

下載的tar包，包含了cloudera manager server，cloudera manager daemons，cloudera manager agents。

parcles包則是CM特有的包格式，安裝的各個元件就是從parcles裡面取出來的。

 

三、系統環境的設定 1、root使用者的設定（四個節點都要）

ubuntu系統在剛安裝完成後，root使用者預設不被啟用，也沒有密碼，因此需要給root使用者設定一個登陸密碼，還要設定root使用者允許ssh登陸，這樣會方便我們進行軟體的安裝。

給root使用者設定密碼：sudo passwd root

開啟root使用者ssh遠端登陸許可權：sudo vi /etc/ssh/sshd_config，將檔案中的PermitRootLogin prohibit-password 改為 PermitRootLogin yes

要使修改的配置生效，需要重啟ssh服務：service ssh restart

設定好了之後，登入root使用者，後面都是用root使用者操作了：su root

2、修改hosts檔案（四個節點都要）

命令：vim /etc/hosts

將ip和主機名新增到檔案末尾：

注意ip和主機名修改為你自己的。

3、免密登入ssh設定（四個節點都要）

這一步很重要，不然在安裝CM的過程中會出錯，一定要完成這一步。

首先，在每個節點上分別生成金鑰

命令：ssh-keygen -t rsa

一路回車，結束後，在/root/.ssh資料夾中，會有id_rsa，id_rsa.pub兩個檔案。

 

每個節點都生成金鑰成功後，然後我們把每個節點的id_rsa.pub檔案中的內容，集中到一個名為authorized_keys檔案中，然後把這個檔案分別傳送到各節點的.ssh資料夾中，這樣我們就可以在任意節點使用ssh命令免密登入到別的節點上去。

最終，.ssh資料夾中，我們可以看到以下幾個檔案：

試試效果：

可以看到，這裡並沒有提示要求我們輸入密碼登入到bigdata02機子上。

4、安裝jdk1.8（四個節點都要）

安裝包已經下載好了，就在之前已經下載好的cm6.3.0-ubuntu1604.tar.gz這個包裡。

將包上傳到機子上，之後使用命令：tar -zxvf cm6.3.0-ubuntu1604.tar.gz，解壓。

java安裝包在路徑：/cm6.3.0/pool/contrib/o/oracle-j2sdk1.8

注意這裡是一個deb包，我們需要使用dpkg命令進行包的安裝。

命令：dpkg -i oracle-j2sdk1.8_1.8.0+update181-1_amd64.deb

預設的安裝路徑為：/usr/lib/jvm/java-8-oracle-cloudera。

 

接下來配置jdk的全域性環境變數

編輯 /etc/profile檔案：vim /etc/profile

在檔案末尾加上下面的程式碼：

export JAVA_HOME=/usr/lib/jvm/java-8-oracle-cloudera

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

加入完成後，要使全域性變數生效，使用命令：source /etc/profile

之後，輸入：java -version，出現下面的提示，則說明安裝成功了：

5、安裝ntp（四個節點都要）

安裝ntp包的目的是，為了保障各節點的時間能夠同步，否則安裝CDH過程中，會出現時間不同步的錯誤。

使用命令：apt-get install ntp 進行安裝

使用命令：service ntp start 啟動服務

6、安裝mysql資料庫（主節點需要，其它節點不需要安裝）

使用命令安裝：apt-get install mysql-server

安裝完成後，修改一下配置檔案：vim /etc/mysql/mysql.conf/mysqld.cnf

在【mysqld】下，新增：

lower_case_table_names=1

default-time_zone = '+8:00'

skip_ssl

重啟mysql：service mysql restart

7、將下載的parcle檔案放到主節點的目錄下

將parcle檔案上傳到主節點目錄，可以方便後續CM安裝parcle，提高安裝速度。

8、修改swappniness的值（四個節點都要）

根據cloudera manager的建議，將值設定為10

命令：echo 10 > /proc/sys/vm/swappiness

四、測試配置好的環境 1、測試各節點是否網路通暢

ping bigdata01

ping bigdata02

ping bigdata03

ping bigdata04

2、測試各節點免密登入

ssh bigdata01

ssh bigdata02

ssh bigdata03

ssh bigdata04

都不需要輸入密碼，直接能夠登入上，說明此項配置成功

 

五、安裝Cloudera Manager並啟動Server以及Agent 1、檔案操作（主節點上操作）

首先解壓到/opt/資料夾下：

tar zxvf ~/cloudera-manager-xenial-cm5.15.2_amd64.tar.gz -C /opt/

然後在opt資料夾下，再建立以下幾個資料夾：

mkdir /opt/cloudera /opt/cloudera/parcels /opt/cloudera/parcel-repo

剪下過去：

mv ~/CDH-5.15.2-2.cdh5.15.2.p0.3-xenial.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.2-1.cdh5.15.2.p0.3-xenial.parcel.sha

剪下過去：

mv ~/CDH-5.15.2-2.cdh5.15.2.p0.3-xenial.parcel /opt/cloudera/parcel-repo/CDH-5.15.2-1.cdh5.15.2.p0.3-xenial.parcel

剪下過去：

mv ~/manifest.json /opt/cloudera/parcel-repo/manifest.json

刪除壓縮包：

rm -rf ~/cloudera-manager-xenial-cm5.15.2_amd64.tar.gz

2、新增Mysql驅動（主節點上操作）

cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.15.2/share/cmf/lib/mysql-connector-java.jar

3、建立資料庫（主節點上操作）

這裡建立的資料庫，是用來存放各個大資料元件的元資料的。

這裡資料庫已經配置好了遠端root可以登入，因此在windows電腦上，使用Navicate連線資料庫。在Navicate裡之行下面的資料庫建立語句：

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456';

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '123456';

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '123456';

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '123456';

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456';

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY '123456';

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '123456';

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '123456';

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456';

 

4、建立SCM資料庫（主節點上操作）

命令：/opt/cm-5.15.2/share/cmf/schema/scm_prepare_database.sh mysql scm scm

5、修改Agent配置（主節點上操作）

命令：vim /opt/cm-5.15.2/etc/cloudera-scm-agent/config.ini

修改server_host=localhost，改為server_host=192.168.0.29

6、複製到從節點（主節點上操作）

將整個Cloudera Manager的檔案從主節點複製到其他三個從節點上：

scp -r /opt/cm-5.15.2 bigdata02:/opt/

scp -r /opt/cm-5.15.2 bigdata03:/opt/

scp -r /opt/cm-5.15.2 bigdata04:/opt/

7、建立cloudera-scm使用者（四個節點都要）

命令：

useradd --system --home=/opt/cm-5.15.1/run/cloudera-scm-server --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

bigdata01：

bigdata02：

bigdata03：

bigdata04：

 

我這裡之前已經建立過了，所有會提示使用者已經存在。

8、更改資料夾所屬使用者和使用者組（四個節點都要）

命令：

mkdir /opt/cloudera /opt/cloudera/parcels /opt/cloudera/parcel-repo

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

chown -R cloudera-scm:cloudera-scm /opt/cm-5.15.2

更改前：

更改後：

 

9、啟動Cloudera Manager Server（主節點）和Agent（四個節點都要）

在bigdata01節點上輸入命令：

/opt/cm-5.15.2/etc/init.d/cloudera-scm-server start

在bigdata02、bigdata03、bigdata04上輸入命令：

/opt/cm-5.15.2/etc/init.d/cloudera-scm-agent start

 

六、進入圖形化介面安裝CM和CDH 1、訪問CM的圖形化介面管理頁面

當啟動cloudera-scm-server成功後，等待幾分鐘之後，訪問主節點的7180埠，就可以進入到圖形化安裝介面。剛開始啟動完成之後，不能立馬訪問，因為程式還在資料庫建立響應的表：

建立完成後，scm資料庫中會有47張表格，之後再訪問7180埠，就能看到登入頁面了。

初始登入的賬號密碼為：admin admin

2、安裝過程可能會出現的問題

 

&n

相關推薦

Ubuntu安裝Cloudera Manager以及CDH5.15.2

一、機子分配 注意，本安裝教程是在真機上進行，而非虛擬機器。另，此次搭建主要的目的是搭建測試環境，讓Hadoop各元件能夠運作起來即可，完成搭建後，將用小資料量進行相關資料的計算與測試。線上環境將會使用阿里雲主機。 以下是四臺真機配置： 機子內網IP地址 主機名 記憶體大小 磁碟大小

Centos7下安裝Cloudera Manager以及Hadoop

安裝Hadoop（CM） 警告： 在執行以下命令時，如果出現ssh相關命令(此處只記錄了一次)，則需要在操作機器上向每臺機器都發起一次，如： cat ip-mapping |

Centos6安裝CDH5.15.1最詳細版-4 安裝Cloudera Manager

配置網路yum源為阿里雲源 完全離線的話可以不做 三臺伺服器都需要配置 1.1 備份原來的配置 mkdir -p /etc/yum.repos.d/bak mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak 1.

CENTOS 7.5離線安裝Cloudera Manager 5和CDH5(5.15.0) 完全教程

特別宣告：LZ按照教程完整的走了一遍，最終所有元件都是正常的，中間遇到很多坑，做了一些修改，本文最後會將遇到的一些坑總結到一片新文章中 windows虛擬機器安裝CDH cpu 16G記憶體 預設單核單線 DEV2 Server&&a

離線安裝Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

關於CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop眾多分支中的一種，由Cloudera維護，基於穩定版本的Apache Hadoop構建，並集成了很多補丁，可直接用於生產環境。 Cloude

CDH5實踐（一）本地Yum軟體源安裝Cloudera Manager 5

Cloudera Manager 5（以下簡稱CM）預設採用線上安裝的方式，給不能聯網際網路或者網路不暢的使用者帶來了不便，由於網路問題，屢裝屢敗的挫折感，讓初次學習CDH使用者真心體驗到萬事開頭難。本文講解了在CentOS 6環境下搭建本地Yum軟體源，區域網內的使用者在完全不連網際網路的情況下，完成CM

離線安裝Cloudera Manager 5和CDH5及與遇到的問題總結

     今天介紹一下:在linux系統下,如何通過CDH搭建叢集. 1.1Cloudera Manager簡介 Cloudera Manager是一個擁有叢集自動化安裝、中心化管理、叢集監控、報警功能的一個工具（軟體）,使得安裝叢集從幾天的時間縮短在幾個小時內，

手動安裝cloudera manager 5.x（tar包方式）詳解

text res 三種 href none bin -i min devel 官方共給出了3中安裝方式：第一種方法必須要求所有機器都能連網，由於最近各種國外的網站被墻的厲害，我嘗試了幾次各種超時錯誤，巨耽誤時間不說，一旦失敗，重裝非常痛苦。第二種方法下載很多包。第三種方法對

安裝Oozie4.1.0-cdh5.5.2

hadoop oozie安裝oozie經歷了好長的時間，先是源碼包，但是放棄了。。。然後就是安裝的這個CDH版本的，弄了好久，經常報各種錯誤。最後整理出來這篇。先對文件進行下載：這裏使用的是CDH版本的，免編譯，看著編譯的過程就夠了。下載地址：http://archive.cloudera.com/cdh5/

安裝Cloudera manager agent步驟詳解

安裝包 記錄 style 繼續 作者 manage gen -s png 　　　　　　　　　　　　　安裝Cloudera manager agent步驟詳解 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　作者：尹正傑 版權聲明：原創作品，謝

ubuntu 安裝python3.7 以及安裝pip3 出現Command '('lsb_release', '-a')' returned non-zero exit status 1問題解決

最近因為電腦重灌，東西全沒了，總計一下最近重灌環境的過程。 如果沒有安裝包，請下載： wget http://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz 　　此連結為python3.7 ，其他版本自行選擇。 先安裝

VMware Ubuntu安裝詳細過程以及解決全屏問題

轉： VMware Ubuntu安裝詳細過程： https://blog.csdn.net/stpeace/article/details/78598333 解決全屏問題： https://blog.csdn.net/nuddlle/article/details/77994080

Ubuntu 安裝 docker ，以及可能遇到的問題

1. 個人建議是剛安裝好的Ubuntu系統(非新系統，我沒有試過，大家可以嘗試一下) 2. 安裝docker，並用docker -v命令驗證安裝結果； (1) 下載  sudo apt install docker.io (2) 驗證 docker -v  (顯示該版

Ubuntu 安裝jdk1.8以及環境變數的配置

這是第一次寫部落格也是第一次在Ubuntu上安裝JDK，寫個部落格記錄一下，也方便下次安裝的時候忘記了。其他的就不多說了，開始吧。首先裝好的系統一個，我也相信你們已經裝好了。系統版本：Ubuntu 16.04（我個人使用的）然後JDK的安裝包，你們可以去JDK的官網上下載網址

Ubuntu 安裝ssh服務以及開啟root使用者ssh登入

一、安裝ssh服務安裝ssh服務sudo apt-get update sudo apt-get install openssh-server安裝完成後啟動ssh服務sudo service ssh s

Ubuntu安裝MySql過程以及忘記密碼

唉，終於悲催到遇到這個無數人出現的問題了。 安裝Mysql的時候，參考的這篇https://www.aliyun.com/jiaocheng/164289.html 結果我安裝的時候根本沒有提示說輸入密碼，安裝過程中也沒有顯示。結果到登入的時候就不知道密碼。 試

Cloudera manager的服務安裝以及spark升級到2.2

apache 廣泛 5.1 cti sha topic file chgrp 擁有 一、Cloudera manager的服務安裝 包含2個： 1、 是軟件包的分發、安裝 此種方式安裝的時候。Cloudera manager會在激活這個步驟驗證軟件的版本和當前cd

Cloudera Manager 5.15.2離線安裝筆記(一)

nts post rmi operator supported 出現 nbsp devel 技術 工欲善其事必先利其器，想要學好一門技術首先得有趁手的工具，要想學好大數據技術，還是得有比較好的工具才行。本筆記記錄的是安裝Cloudera Manager的過程。 CDH的全稱

Cloudera Manager 和CDH6.0.1安裝，解除安裝，各步驟截圖（此博文為筆者辛苦勞作最終生成的，使用了3個熬到凌晨2~4點的夜晚，外加一個週末完成，請轉載時記錄轉載之處，謝謝）

1 Cloudera 文件總地址 https://www.cloudera.com/documentation/enterprise/6/6.0.html 2 Cloudera Manager 和CDH下載地址 Cloudera Manager下載地址： https://a

Cloudera Manager(CDH5)內部結構、功能包括配置檔案、目錄位置等 2016-05-26 15:46 2112人閱讀 評論(0) 收藏 舉報 分類： CDH（19） 1. 相關

/var/log/* : 相關日誌檔案（相關服務的及CM的）。 /usr/share/cmf/ : 程式安裝目錄。 /usr/lib64/cmf/ : Agent程式程式碼。 /var/lib/cloudera-scm-server-db/data : 內嵌資料庫目錄。 /usr/bin/postgres