1. 程式人生 > >CDH環境搭建(一)

CDH環境搭建(一)

一、架構                       一共三臺虛擬機器:cdh1~cdh3。       其中Server部署在cdh1上,MySQL同樣部署在cdh1上(因此cdh1的記憶體要大一些,其它兩臺主機的記憶體可稍小一點,筆者的記憶體配置是:6G、1G、1G)。IP分配如下:        cdh1:192.168.111.201        cdh2:192.168.111.202        cdh3:192.168.111.203 版本資訊:       系統版本:CentOS 6.5       JDK版本:   jdk-7u67-linux-x64.rpm       CM版本:   cloudera-manager-el6-cm5.4.3_x86_64.tar.gz       CDH版本: CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel       MySQL版本: 5.6 需準備的安裝包列表:       1、CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel       2、CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha       3、manifest.json       4、cloudera-manager-el6-cm5.4.3_x86_64.tar.gz       5、mysql-connector-java-5.1.26-bin.jar       6、jdk-7u67-linux-x64.rpm 其中, 1、2、3 CDH安裝包,4是Cloudera Manager的安裝包,5是mysql相關的jar包,用於CDH連線MySQL,6是JDK的安裝包。 二、準備工作
1、網路配置(cdh1~cdh3):      (a) vi /etc/sysconfig/network  分別修改chd1~cdh3的hostname
NETWORKING=yes
HOSTNAME=cdh1  
    (b) vi /etc/hosts  (cdh1~cdh3)     修改IP與主機名的對應關係,對三臺主機分別新增如下配置
192.168.111.201 cdh1
192.168.111.202 cdh2
192.168.111.203 cdh3
2、免金鑰配置(cdh1~cdh3):       三臺主機,兩兩之間互做免金鑰配置。具體配置方法如下:
在cdh1執行
1、ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa    
2、ssh-copy-id cdh2    
3、ssh-copy-id cdh3
同樣,在cdh2、cdh3上執行類似操作。
3、關閉防火牆(cdh1~cdh3):
service iptables stop
chkconfig iptables off
4、關閉selinux (cdh1~cdh3):
vi /etc/selinux/config
將SELINUX的值設定為 disabled
5、安裝jdk(cdh1~cdh3)
rpm -ivh jdk-7u67-linux-x64.rpm
安裝完成後,修改環境變數
vi /etc/profile
在末尾新增兩行配置:
export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
儲存退出!
source /etc/profile ,重新整理。
6、安裝ntp服務,時間同步(cdh1~cdh3)
yum install -y ntp
安裝成功後,設定為開機啟動,並進行時間同步:
chkconfig ntpd on
ntpdate -u ntp1.aliyun.com
7、在cdh1安裝MySQL、配置相關資訊。      此處需特別注意:            (a) CDH 5.1版本及更新的版本匹配的MySQL版本是MySQL 5.6 , 故此處選取MySQL 5.6進行安裝。            (b) 使用yum安裝MySQL ,預設版本是5.1 , 要安裝指定版本的MySQL,請參考筆者另一篇帖子:Linux yum安裝指定版本的MySQL       MySQL安裝完畢後,啟動mysql服務,並設定成開機啟動
[[email protected] files]# service mysqld start

[[email protected] files]# chkconfig mysqld on
       進入MySQL命令列,進行如下配置:
mysql>use mysql
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
Query OK, 0 rows affected (0.00 sec)
mysql>delete from user where host != '%' ;
Query OK, 6 rows affected (0.00 sec)
mysql>flush privileges;
Query OK, 0 rows affected (0.00 sec)
8、安裝第三方依賴包(cdh1~cdh3)
yum install chkconfig  python bind-utils psmisc libxslt  zlib  sqlite cyrus-sasl-plain  cyrus-sasl-gssapi  fuse  fuse-libs  redhat-lsb -y
至此,準備工作完畢。 三、安裝Cloudera Manager 1、安裝Cloudera Manager Server、Agent (cdh1~cdh3)      上傳Cloudera Manager的安裝包,建立新目錄,將安裝包解壓到新目錄中
mkdir /opt/cloudera-manager               #注意此目錄是CM預設的目錄。可以在後續的web中修改。
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
2、建立使用者 cloudera-scm(cdh1~cdh3)
useradd --system --no-create-home --shell=/bin/false --comment="Cloudera SCM User" cloudera-scm
3、配置CM Agent(cdh1~cdh3)      修改檔案/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中 server_host以及server_port。      server_host 的值設定為 cdh1 , server_port保持預設的7182不變 4、配置CM Server資料庫(在cdh1上操作)      (a) 將mysql的jar包(mysql-connector-java-5.1.26-bin.jar) 拷貝至目錄/usr/share/java/。該目錄為CM預設的讀取路徑,若不存在,則需要手動建立。      (b) jar包的名稱要修改為 mysql-connector-java.jar , 該名稱也是CM預設讀取的名稱。      (c) 進入MySQL命令列模式,建立臨時使用者temp
[[email protected] ~]#mysql -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 429
Server version: 5.6.39 MySQL Community Server (GPL)
Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql>use mysql;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql>grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
mysql>flush privileges;
      (d) 退出MySQL命令列模式,重新回到Linux中,執行如下命令進行資料庫初始化:
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h cdh1 -utemp -ptemp --scm-host cdh1 scm scm scm
上述指令碼後面所跟引數的含義:
mysql        資料庫型別
temp         資料庫例項名
-h cdh1     資料庫伺服器的主機名 或 IP
-utemp -ptemp   資料庫登入使用者名稱、密碼
--scm-host cdh1     cm server伺服器
scm scm scm           固定寫法,用途暫時不明
5、建立Parcel目錄      Server節點(cdh1):
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
     Agent節點(cdh1~cdh3):
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
      注意:此處涉及到的幾個目錄,都是CDH預設讀取的目錄。CDH安裝成功之後,可以在Web控制端進行修改,但此處需要使用默路徑。 6、製作CDH本地源       將下面三個檔案拷貝至Server節點(cdh1)的/opt/cloudera/parcel-repo下:       CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel       CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha       manifest.json 7、 啟動CM Server、 Agent       啟動指令碼都在目錄/opt/cloudera-manager/cm-5.4.3/etc/init.d/下,進入此目錄       (a) 在cdh1節點啟動 Server
./cloudera-scm-server start
– Sever首次啟動會自動建立表以及資料,不要立即關閉或重啟,否則需要刪除所有表及資料重新安裝
      (b) 在cdh1~cdh3 上啟動Agent
./cloudera-scm-agent start
      Server的啟動日誌是:/opt/cloudera-manager/cm-5.4.3/log/cloudera-scm-server/cloudera-scm-server.log。出現如下提示,說明CM啟動成功:
2018-01-31 20:05:35,066 INFO WebServerImpl:org.mortbay.log: jetty-6.1.26.cloudera.4
2018-01-31 20:05:35,067 INFO WebServerImpl:org.mortbay.log: Started [email protected]:7180
2018-01-31 20:05:35,067 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl:Started Jetty server

使用者名稱/密碼:admin/admin

相關推薦

CDH環境搭建

一、架構                       一共三臺虛擬機器:cdh1~cdh3。       其中Server部署在cdh1上,MySQL同樣部署在cdh1上(因此cdh1的記憶體要大一些,其它兩臺主機的記憶體可稍小一點,筆者的記憶體配置是:6G、1G、1G)。

項目進階 之 集群環境搭建概述

問題 特點 多臺 cpu 好的 content 成了 系統資源 通過 今天我們說一個不是特別新,但近期今年伴隨大數據熱而比較火的一個技術-集群技術。 什麽是集群技術 集群(Cluster)技術是指一組相互犭蟲立的計算機,利用快速通信網絡組

Vue2.0新手入坑環境搭建

clas min 團隊 定義 自定義 ini 創建 https idt 每周不定期更新 專業團隊接APP 外包 聯系QQ1129580542 vue-cli 是一個官方發布 vue.js 項目腳手架,使用 vue-cli 可以快速創建 vue 項目,GitHu

SpringCloud運行環境搭建Centos7.0下jdk的安裝

mage ech 目錄 img 生效 deploy 服務 web tro 一、運行環境 1、jdk下載安裝 1.1、下載 地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 1.2、安

jenkins+ant+jmeter自動化環境搭建

什麽 bsp put show e-mail ram 1.0 哪裏 miss 寫在最前面: jmeter:測試接口的工具,支持java語言; ant:Apache Ant是一個Java庫和命令行工具,其任務是將構建文件中描述的進程作為

Android自動化之Monkey環境搭建

OS 安卓系統 我們 cmd 工具 jdk 自動化 monk 檢查 從事測試行業兩年了,一直很喜歡研究新技術,但是最近有點慵懶。正好公司新出了產品,督促我學習monkey用來測其穩定性。 網上搜索了很久,內容總是很零散,通常需要找幾篇文章才能搭好環境。特寫此文,一篇文章搞定

嵌入式開發環境搭建 虛擬機實現橋接Ethernet網口 並且通過WIFI進行NAT聯網

war bubuko 搭建服務器 6.4 網線 16.4 聯網 橋接 圖片 背景:   目前手頭上有一塊JZ2440的板子,之前有搭建完整套開發環境,由於虛擬機故障需要從新搭建服務器端,故在此記錄搭建步驟 環境:   Ubuntu16.4   VMWare 12 先行條件:

Appium+python移動端自動化測試-環境搭建

過程 .com oid pytho 安裝環境 測試 ID alt ppi 搭建所在系統環境:Windows7版本64位系統 一、環境準備 jdk8.0.151 android-sdk_r20.3.4-windows python3.5 appium1.4.16

Docker for Windows安裝與Linux+PHP開發環境搭建

Docker是什麼? 簡單得來說,Docker是一個由GO語言寫的程式執行的“容器”(Linux containers, LXCs); 目前雲服務的基石是作業系統級別的隔離,在同一臺物理伺服器上虛擬出多個主機。Docker則實現了一種應用程式級別的隔離; 它改變我們基本的開發、操作單元,

linux 核心模組程式設計之環境搭建

這裡介紹些關於Tiny6410開發板核心的編譯,為後期驅動開發做前期的準備。 開發環境:64位的Ubuntu 14.01虛擬機器 目標機:友善之臂Tiny6410開發板 核心:linux-2.6.38-20110325.tar.gz 核心原始碼下載地址 htt

SpringMVC 學習 八 SSM環境搭建 web.xml配置

第一步:匯入jar包, 第二步:配置web.xml 在web.xml中,主要的配置內容有以下幾點 (1)spring容器配置檔案的位置 <!-- spring配置檔案位置 --> <context-param> <param-name>cont

瞎折騰之個人學習環境搭建:安裝XenServer

背景介紹 家裡只有一臺安裝WIN10的筆記本可供在下折騰,在下先安裝了個VMware® Workstation 12 Pro,計劃建立一臺虛擬機器安裝XenServer,再得用XenServer虛擬3臺Centos7,夠折騰的吧,其實如果僅虛擬Centos7,可以直接使用VMwar

React的環境搭建

1  檢查是否安裝  node  npm    2  init  npm    按照提示新增內容  後使用ctrl + C 退出   3 檢查是否安裝&nbs

VsCode + node+ vue.js 開發環境搭建

1.安裝最新的 vscode ,這個很容易安裝。 2.要在機器上開發 vue.js 有兩種模式,一種直接用 .js ,這種方式不用 安裝.node  環境,另一種用 webpack, 3.在機器安裝 node node-v10.8.0-x64.msi,在安裝過程中可能會出

SpringMVC環境搭建

Spring MVC為展現層提供的基於MVC設計理念的優秀Web框架,是目前最主流的MVC框架之一。 Spring 3.0之後完全超越Struts2,稱為最優秀的MVC框架。學完SpringMVC之後,瞬時間就能讓你感到Struts2帶給你的殘酷。 Spring MVC通過一套MVC註解,讓POJO稱為處

Django學習筆記之環境搭建

           Django是一個高階的Python Web開發框架,它鼓勵快速開發,和實用的設計。它採用了MTV的設計模式,並且它由經驗豐富的開發人員來構建, 可以解決Web開發的諸多問題,因此也被稱為全棧Web開發框架。它是開源的,直接

ios自動化環境搭建

目錄 mac os下搭建基於appium的ios自動化環境,可以按以下幾個步驟進行: 1、安裝homebrew Homebrew是一款Mac OS平臺下的軟體包管理工具,擁有安裝、解除安裝、更新、檢視、搜尋等很多實用的功能。簡單的一條指令

React Native在window下的環境搭建

React Native官方開發文件   以下是本人抄錄的: 初次接觸React Native感覺和React很像,卻是有點類似,但不完全是,React Native有自己的元件物件,不過它也自定義的元件也是使用ES6中的語法定義。 首先是安裝的依賴,必須安裝:Node、React Nati

linux學習——PHP環境搭建

1.獲取軟體源列表,輸入sudo apt-get install 安裝軟體; 2.建立/soft檔案,並給所有權; sudo mkdir /soft sudo chmod -R 777 soft 3.下載並安裝lnmp1.5整合環境 wget http://soft

centos下Docker環境搭建

Docker是一個能夠把開發的應用程式自動部署到容器的開源引擎,基於客戶端-伺服器架構c/s,讓開發者可以打包他們的應用以及依賴包到一個可移植的容器中,然後釋出到任何流行的Linux 機器上,也可以實現虛擬化。容器是完全使用沙箱機制,相互之間不會有任何介面。 Docker