2. 程式人生 > >CDH5.3.2安裝詳細文件以及相關問題處理

CDH5.3.2安裝詳細文件以及相關問題處理

阿新 • • 發佈：2019-02-13

版本約定

作業系統版本centos6.5,64位
jdk1.7的版本也支援jdk1.8的版本

python版本為2.6或者2.7

叢集版本cdh5.3.2
cloudera manager 5.3

mysql5.0以上版本

CM安裝前說明

  • 防火牆關閉

         service iptables stop chkconfig iptables off

  •  關閉SELINUX

vi /etc/selinux/config設定SELINUX=disabled

  •  確認埠7180沒有被佔用

  • 在安裝coudera manager 前先安裝資料庫mysql.並配置資料庫的配置檔案和建立相應的資料庫。
  • 需要將mysql資料庫預設儲存引擎改為innodb.

CM安裝方式

安裝方式採用yum安裝，由於內網機器無法訪問外網，所以我們必須搭建一個本地的yum倉庫,yum倉庫機器10.100.3.17。

本地YUM倉庫搭建

上傳相關安裝包到10.100.3.17機器/var/ftp/pub/Packages目錄下，然後執行createrepo命令：

createrepo -g /var/ftp/pub/repodata/repomd.xml /var/ftp/pub/

cdh叢集機器配置本地yum源：

cd /etc/yum.repos.d/ rm -rf * #刪除無用配置yum原始檔 vi ftp-server.repo #加入ftp-server.repo檔案加入如下配置：
[base] name=ftp-server baseurl=ftp://10.100.3.17/pub/ gpgcheck=0

Clouera Manager安裝

cdh叢集說明

cdh叢集機器為3臺，分別為10.100.3.95,10.100.3.96,10.100.3.97,10.100.3.98,10.100.3.99

將cloudera manager agent 分別部署在這五臺機器上，

將cloudera manager server 和mysql部署在10.100.3.95上

安裝jdk

首先檢查叢集機器是否安裝過openJDK,如果有安裝過，請解除安裝，執行命令 ：

rpm -qa | grep jdk
rpm -e xxx #xxx為上一步輸出的rpm包名

在所有機器上安裝jdk，並配置JAVA_HOME,執行命令：

yum install jdk vi /etc/profile #加入以下配置 export JAVA_HOME=/usr/java/jdk1.7.0.67 export PATH=$JAVA_HOME/bin:$JAVA_HOME/lib:$PATH #使配置生效 source /etc/profile

配置NTP服務

我們需要配置叢集ntp時間同步，因為叢集安裝完畢後Cloudera Manager會對叢集做時間同步檢測，如果不同步會報警

Bad Health --Clock Offset

The host's NTP service did not respond to a request for the clock offset.

我們採用10.100.3.95作為master機器，所有機器都同步該機器上的時間，所有機器安裝ntp服務

yum install ntp

配置95機器上NTP Server，修改/etc/ntpd.conf檔案加入如下配置

restrict 0.0.0.0master 0.0.0.0nomodify nostrap #讓所有網段都可以同步該機器的時間 server 127.127.1.0 fudge 127.127.1.0stratum 8

啟動NTP服務

/etc/init.d/ntpd start chkconfig ntpd on

其他機器同步該機器時間，並且也開啟ntpd服務，如果其他機器不開啟ntpd服務，Cloudera Manager同樣會報警，因為Cloudera Manager 會使用ntpdc -c loopinfo 這個命令來判斷叢集的延遲時間。叢集同步時間命令為：

ntpdate 10.100.3.95 #並在crontab中加入命令 crontab -e */15* * * * ntpdate 10.100.3.95

安裝Mysql

Cloudera Manager通過資料庫來管理服務資訊和叢集配置資訊。可以使用內建的PostgreSQL或者外部資料庫系統，目前支援Mysql,Oracle,以及外部PostgreSQL資料庫。這裡我們安裝外部的Mysql資料庫。

$ yum install mysql mysql-devel mysql-server #安裝mysql後啟動； $ service mysqld start 

#配置mysql資料庫，新增如下內容，新增以後。重啟mysql資料庫。如果沒報錯，則配置成功；

[mysqld] transaction-isolation = READ-COMMITTED # Disabling symbolic-links is recommended to prevent assorted security risks; # to doso, uncomment thisline: # symbolic-links = 0 key_buffer = 16M key_buffer_size = 32M max_allowed_packet = 32M thread_stack = 256K thread_cache_size = 64 query_cache_limit = 8M query_cache_size = 64M query_cache_type = 1 max_connections = 550 #log_bin should be on a disk with enough free space. Replace '/var/lib/mysql/mysql_binary_log'with an appropriate path foryour system and chown the specified folder to the mysql user. #log_bin=/var/lib/mysql/mysql_binary_log #expire_logs_days = 10 #max_binlog_size = 100M # For MySQL version 5.1.8or later. Comment out binlog_format forolder versions. binlog_format = mixed read_buffer_size = 2M read_rnd_buffer_size = 16M sort_buffer_size = 8M join_buffer_size = 8M # InnoDB settings innodb_file_per_table = 1 innodb_flush_log_at_trx_commit  = 2 innodb_log_buffer_size = 64M innodb_buffer_pool_size = 4G innodb_thread_concurrency = 8 innodb_flush_method = O_DIRECT innodb_log_file_size = 512M [mysqld_safe] log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid

移除這兩個檔案：/var/lib/mysql/ib_logfile0;/var/lib/mysql/ib_logfile1,重啟mysql服務。

安裝 MySQL JDBC Connector

$  mkdir -p /usr/share/java/ $  cp mysql-connector-java-5.1.17.jar /usr/share/java/mysql-connector-java.jar

配置Mysql

設定root賬號的密碼：

$ sudo /usr/bin/mysql_secure_installation [...] Enter current password forroot (enter fornone): OK, successfully used password, moving on... [...] Set root password? [Y/n] y New password: Re-enter newpassword: Remove anonymous users? [Y/n] Y [...] Disallow root login remotely? [Y/n] N [...] Remove test database and access to it [Y/n] Y [...] Reload privilege tables now? [Y/n] Y All done!

建立Mysql資料庫

建立資料庫用來儲存Activity Monitor，Report Manager, Hive MetaStore Server, Sentry Server, Cloudera Navigator Audit Server, Cloudera Navigator Metadata Server服務相關配置資訊。

使用root使用者登陸Mysql資料庫

$ mysql -u root -p Enter password:

建立資料庫

mysql> create database database DEFAULT CHARACTER SET utf8; Query OK, 1row affected (0.00sec) mysql> grant all on database.* TO 'user'@'%'IDENTIFIED BY 'password'; Query OK, 0rows affected (0.00sec)

其中database，user，password查看下錶

Role Database User Password
Activity Monitor amon amon amon_password
Reports Manager rman rman rman_password
Hive Metastore Server metastore hive hive_password
Sentry Server sentry sentry sentry_password
Cloudera Navigator Audit Server nav nav nav_password
Cloudera Navigator Metadata Server navms navms navms_password

安裝Cloudera Manager Server

$  yum install cloudera-manager-daemons $  yum install cloudera-manager-server

配置Cloudera Manager Server資料庫

這裡Cloudera Manager Server和Mysql安裝在同一臺機器，執行命令

/usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p --scm-host localhost scm scm scm

出現Successful 表示執行成功。

啟動Cloudera Manager Server服務

service cloudera-scm-server start

Cloudera Manager agent 不需要手動安裝直接進入CM得web介面自動安裝配置即可。

web登入

url 格式：http://<Server host>:<port>

預設使用者名稱：admin 密碼：admin

安裝Cloudera Manager Agent,以及CDH相關元件

1.根據CM引導介面，選擇Cloudera Express 免費版。點選下一步到為CDH叢集安裝指定主機。

2.輸入需要安裝叢集的機器IP地址，包括Cloudera Manager Server 機器。

3.選擇叢集的安裝方式，選擇使用資料包，CDH版本選擇自定義，並輸入yum源地址ftp://10.100.3.17/pub/, Cloudera Manager Agent選擇自定義，輸入yum源地址ftp://10.100.3.17/pub/。點選繼續

4.叢集安裝狀態，可以看到每臺叢集的安裝狀態，如果正常則進入下一步。

5.選擇要安裝的CDH元件，我們選擇自定義，安裝HBase、HDFS、Hive、Hue、Key-Value Store Indexer、Oozie、Solr、Spark、Sqoop 2、YARN、Zookeeper服務。點選繼續

6.CM會檢測安裝環境，會提示一處安裝警告： cloudera 建議將/proc/sys/vm/swappiness設定為0，當前設定為60， 我們需要在叢集每臺機器上執行命令：

echo 0> /proc/sys/vm/swappiness

7.選擇叢集機器的角色分配，對於預設的選擇都可以選擇在Master（10.100.3.95）機器上，當然像Second NameNode可以選擇在非NameNode機器上。注意Cloudera Management Service都選Master（10.100.3.95），也就是安裝mysql的主機。因為其他主機沒有安裝mysql.點選繼續

8.資料庫配置。根據建立資料表選擇所對應的服務即可。

9.叢集設定。選擇預設，叢集開始安裝。

oozie配置

oozie安裝完畢之後還需要做以下配置才能使用：

1.安裝Oozie共享庫，操作如下：

  • 選擇oozie服務
  • 點選操作->停止
  • 點選安裝Oozie共享庫
  • 點選啟動

2.配置Ext JS庫，操作如下：

  • 把該檔案放入執行Oozie Server的主機/var/lib/oozie/目錄下
  • 解壓該檔案
  • 重啟oozie服務

3.配置外部資料庫這裡配置mysql，操作如下：

  • 選擇oozie服務，點選配置面板
  • 選擇Oozie Server Default Group->資料庫
  • 配置Oozie伺服器資料庫型別選擇mysql，選擇Oozie伺服器資料庫名稱，預設為oozie，選擇Oozie伺服器資料庫主機地址，選擇Oozie伺服器資料庫使用者，選擇Oozie伺服器資料密碼。並儲存配置
  • 選擇操作->停止
  • 選擇操作->建立資料庫
  • 選擇操作->啟動

相關推薦

CDH5.3.2安裝詳細文件以及相關問題處理

版本約定 作業系統版本centos6.5,64位 jdk1.7的版本也支援jdk1.8的版本 python版本為2.6或者2.7 叢集版本cdh5.3.2 cloudera manager 5.3 mysql5.0以上版本 CM安裝前說明 防火牆關閉          service ip

Redis 3.2.8 配置文件

rand 開啟 size log 安裝包 默認 clas 一個 logs 一、Redis 配置文件 之前 Redis 3.2.8 安裝與配置 中說到了，在Redis安裝包中有一個名為redis.conf的文件，該文件就是啟動redis時所需的配置文件。 在配置文件中對每一個

Taurus.MVC 2.3.2 ：WebAPI 文件整合測試功能及附加<%# JS執行功能語法 %>

前言： 前些天有網友提到了那個介面醜陋的SwaggerUI，讓我想起了多年前實現的WebAPI文件未完成的功能點，於是，動手了，便有了本文的內容。 開源地址：https://github.com/cyq1162/Taurus.MVC   1、WebAPI 文件整合測試功能（增強說明） 開啟WebAP

【轉】CentOS 7.0 安裝Redis 3.2.1詳細過程和使用常見問題

nec count ges des useful 內存 warning before outside http://www.linuxidc.com/Linux/2016-09/135071.htm 環境：CentOS 7.0 Redis 3.2.1 Redis的安裝與啟動

Apache CouchDB 2.3.0 釋出，文件資料庫

   Apache CouchDB 2.3.0 已釋出，Apache CouchDB 是一個面向文件的資料庫管理系統。它提供以 JSON 作為資料格式的 REST 介面來對其進行操作，並可以通過檢視來操縱文件的組織和呈現。CouchDB 是 Apache 基金會的頂級開源專案。

CentOS7.3利用kubeadm安裝kubernetes1.7.3完整版(官方文件填坑篇)

安裝前記： 近來容器對企業來說已經不是什麼陌生的概念，Kubernetes作為Google開源的容器執行平臺，受到了大家的熱捧。搭建一套完整的kubernetes平臺，也成為試用這套平臺必須邁過的坎兒。kubernetes1.5版本以及之前，安裝還是相對比較方便的，官方

Hadoop(2.7.3)叢集配置-官方文件

目標 本文描述瞭如何安裝、配置和管理有實際意義的Hadoop叢集，其規模可從幾個節點的小叢集到幾千個節點的超大叢集。如果你希望在單機上安裝Hadoop玩玩，從這裡(Single Node Setup)能找到相關細節。 這份文件不包含更先進話題，比如安

elasticsearch 6.2.0+kibana安裝部署文件

        本文基於elasticsearch 6.2.0.本文是本人寫給運維的部署文件，留存記錄方便以後使用，因為命令比較詳細，只需參考即可。後續將陸陸續續寫相關API上來。一、按硬體選擇1，伺服器環境三臺機的配置Mastar節點機器作業系統:linux  CentOS

小巧玲瓏的開源排程框架Azkaban3.0下載、編譯、安裝及使用詳細文件

一、下載 下載地址：https://github.com/azkaban/azkaban/archive/3.38.0.tar.gz 二、編譯 Azkaban3.x官方沒有提供直接的安裝包，需要下載原始碼後進行編譯 $>cd $AZKABAN_SOURCE_HOME $>./grad

Orleans 2.0官方文件（閆輝的個人翻譯）——3.2 有哪些Orleans包

Orleans NuGet 包 (v2.0.0-rc2) 關鍵包 在大多數情況下，您需要使用5個關鍵的NuGet包： Microsoft Orleans Core Abstractions PM> Install-Package Microsoft.Orleans.C

Orleans 2.0官方文件（閆輝的個人翻譯）——2.3 示例：Adventure

Adventure 一款簡單的多人文字冒險遊戲，靈感來自老式的，基於文字的冒險遊戲。 說明 在Visual Studio中開啟OrleansAdventure.sln。在這裡可以找到。 啟動“AdventureSetup”專案。 一旦AdventureSetup執行，啟

Orleans 2.0官方文件（閆輝的個人翻譯）——1.3 Orleans 2.0

Orleans 2.0 2.0是Orleans的一個主要版本，其主要目標是使其與.NET Standard 2.0相容並跨平臺（通過.NET Core）。作為這項工作的一部分，Orleans API進行了幾次現代化，以使其更符合當今配置和託管ASP.NET等技術的方式。 由於它與.NET S

Redis入門之Redis 安裝超詳細文件

    PREFIX=/usr/local/redis    我的安裝目錄即為  /usr/local/redis/bin     3）在原始檔目錄下執行  make && make install      即在 /usr/local/redis/redis-3.0.5 下面執行  make

Kafka安裝操作文件（詳細）

安裝配置【機器3臺：cdh-yhte01-03】1、下載kafka_2.9.2-0.8.1.1.tgz（http://mirrors.cnnic.cn/apache/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz）2、 解壓 tar -zxvf k

無法讀取方案文件 'http://code.alibabatech.com/schema/dubbo因為 1) 無法找到文件; 2) 無法讀取文件; 3)

現象： application.xml 文件不報錯，但是執行程式，會報錯，dubbo.xsd  引用的是dubbo.2.4.9.jar ;分析： 網上有人說是dubbo jar版本的問題，後來我換了版本之後還是不行，後來分析發現，程式執行的時候找不到dubbo.jar 解決辦

細化如何安裝LNMP + Zabbix 監控安裝文件以及故障排除

1.LNMP所需安裝包： 上傳如下軟體包到/soft目錄中 mysql- 5.1.71(centos6.5 64位自帶)也可根據版本自行挑選，前提你瞭解這個版本 pcre-8.36.tar.gz nginx-1.6.2.tar.gz jpegsrc.v9a.tar.gz l

Java項目生成可執行jar包、exe文件以及在Windows下的安裝文件

項目 pos 安裝jdk 通過 文件 options csdn 成了 應該 1、如何通過eclipse將Java項目生成可執行jar包 首先把在eclipse下的java項目導出jar file 下一步 下一步 下一步 最後點擊完成，便生成了可執行的jar文

ceph 物件儲存閘道器rados gateway和S3介面測試詳細安裝配置文件

Create a keyring for the gateway：sudo ceph-authtool --create-keyring /etc/ceph/ceph.client.radosgw.keyring sudo chmod +r /etc/ceph/ceph.client.radosgw.key

lvs+keepalive 比較詳細的安裝配置文件

lvs說明:目前有三種IP負載均衡技術（VS/NAT、VS/TUN和VS/DR）； 八種排程演算法（rr,wrr,lc,wlc,lblc,lblcr,dh,sh）。 在 排程器的實現技術中，IP負載均衡技術是效率最高的。在已有的IP負載均衡技術中有通過網路地址轉換（Net

spring的xml中註冊bean的時候報錯1) 無法找到文件; 2) 無法讀取文件; 3) 文件的根元素不是

報錯內容： org.xml.sax.SAXParseException; lineNumber: 5; columnNumber: 72; schema_reference.4: 無法讀取方案文件 'http://www.springframework.org/schema/beans/spring-be