CDH環境搭建(一)
NETWORKING=yes
HOSTNAME=cdh1
(b) vi /etc/hosts (cdh1~cdh3) 修改IP與主機名的對應關係,對三臺主機分別新增如下配置192.168.111.201 cdh1
192.168.111.202 cdh2
192.168.111.203 cdh3
2、免金鑰配置(cdh1~cdh3):
三臺主機,兩兩之間互做免金鑰配置。具體配置方法如下:
3、關閉防火牆(cdh1~cdh3):在cdh1執行 1、ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 2、ssh-copy-id cdh2 3、ssh-copy-id cdh3 同樣,在cdh2、cdh3上執行類似操作。
service iptables stop
chkconfig iptables off
4、關閉selinux (cdh1~cdh3):
vi /etc/selinux/config
將SELINUX的值設定為 disabled
5、安裝jdk(cdh1~cdh3)
rpm -ivh jdk-7u67-linux-x64.rpm
安裝完成後,修改環境變數
6、安裝ntp服務,時間同步(cdh1~cdh3)vi /etc/profile 在末尾新增兩行配置: export JAVA_HOME=/usr/java/jdk1.7.0_67 export PATH=$PATH:$JAVA_HOME/bin 儲存退出! source /etc/profile ,重新整理。
yum install -y ntp
安裝成功後,設定為開機啟動,並進行時間同步:
chkconfig ntpd on
ntpdate -u ntp1.aliyun.com
7、在cdh1安裝MySQL、配置相關資訊。
此處需特別注意:
(a) CDH 5.1版本及更新的版本匹配的MySQL版本是MySQL 5.6 , 故此處選取MySQL 5.6進行安裝。
(b) 使用yum安裝MySQL ,預設版本是5.1 , 要安裝指定版本的MySQL,請參考筆者另一篇帖子:Linux yum安裝指定版本的MySQL
MySQL安裝完畢後,啟動mysql服務,並設定成開機啟動[[email protected] files]# service mysqld start
[[email protected] files]# chkconfig mysqld on
進入MySQL命令列,進行如下配置:mysql>use mysql
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
Query OK, 0 rows affected (0.00 sec)
mysql>delete from user where host != '%' ;
Query OK, 6 rows affected (0.00 sec)
mysql>flush privileges;
Query OK, 0 rows affected (0.00 sec)
8、安裝第三方依賴包(cdh1~cdh3)yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y
至此,準備工作完畢。
三、安裝Cloudera Manager
1、安裝Cloudera Manager Server、Agent (cdh1~cdh3)
上傳Cloudera Manager的安裝包,建立新目錄,將安裝包解壓到新目錄中mkdir /opt/cloudera-manager #注意此目錄是CM預設的目錄。可以在後續的web中修改。
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
2、建立使用者 cloudera-scm(cdh1~cdh3)useradd --system --no-create-home --shell=/bin/false --comment="Cloudera SCM User" cloudera-scm
3、配置CM Agent(cdh1~cdh3)
修改檔案/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中
server_host以及server_port。
server_host 的值設定為 cdh1 , server_port保持預設的7182不變
4、配置CM Server資料庫(在cdh1上操作)
(a) 將mysql的jar包(mysql-connector-java-5.1.26-bin.jar) 拷貝至目錄/usr/share/java/。該目錄為CM預設的讀取路徑,若不存在,則需要手動建立。
(b) jar包的名稱要修改為 mysql-connector-java.jar , 該名稱也是CM預設讀取的名稱。
(c) 進入MySQL命令列模式,建立臨時使用者temp[[email protected] ~]#mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 429
Server version: 5.6.39 MySQL Community Server (GPL)
Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql>use mysql;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql>grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
mysql>flush privileges;
(d) 退出MySQL命令列模式,重新回到Linux中,執行如下命令進行資料庫初始化:cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h cdh1 -utemp -ptemp --scm-host cdh1 scm scm scm
上述指令碼後面所跟引數的含義:
mysql 資料庫型別
temp 資料庫例項名
-h cdh1 資料庫伺服器的主機名 或 IP
-utemp -ptemp 資料庫登入使用者名稱、密碼
--scm-host cdh1 cm server伺服器
scm scm scm 固定寫法,用途暫時不明
5、建立Parcel目錄
Server節點(cdh1):mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent節點(cdh1~cdh3):mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
注意:此處涉及到的幾個目錄,都是CDH預設讀取的目錄。CDH安裝成功之後,可以在Web控制端進行修改,但此處需要使用默路徑。
6、製作CDH本地源
將下面三個檔案拷貝至Server節點(cdh1)的/opt/cloudera/parcel-repo下:
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
manifest.json
7、 啟動CM Server、 Agent
啟動指令碼都在目錄/opt/cloudera-manager/cm-5.4.3/etc/init.d/下,進入此目錄
(a) 在cdh1節點啟動 Server./cloudera-scm-server start
– Sever首次啟動會自動建立表以及資料,不要立即關閉或重啟,否則需要刪除所有表及資料重新安裝
(b) 在cdh1~cdh3 上啟動Agent./cloudera-scm-agent start
Server的啟動日誌是:/opt/cloudera-manager/cm-5.4.3/log/cloudera-scm-server/cloudera-scm-server.log。出現如下提示,說明CM啟動成功:2018-01-31 20:05:35,066 INFO WebServerImpl:org.mortbay.log: jetty-6.1.26.cloudera.4
2018-01-31 20:05:35,067 INFO WebServerImpl:org.mortbay.log: Started [email protected]:7180
2018-01-31 20:05:35,067 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl:Started Jetty server
使用者名稱/密碼:admin/admin
相關推薦
CDH環境搭建(一)
一、架構 一共三臺虛擬機器:cdh1~cdh3。 其中Server部署在cdh1上,MySQL同樣部署在cdh1上(因此cdh1的記憶體要大一些,其它兩臺主機的記憶體可稍小一點,筆者的記憶體配置是:6G、1G、1G)。
項目進階 之 集群環境搭建(一)概述
問題 特點 多臺 cpu 好的 content 成了 系統資源 通過 今天我們說一個不是特別新,但近期今年伴隨大數據熱而比較火的一個技術-集群技術。 什麽是集群技術 集群(Cluster)技術是指一組相互犭蟲立的計算機,利用快速通信網絡組
Vue2.0新手入坑環境搭建(一)
clas min 團隊 定義 自定義 ini 創建 https idt 每周不定期更新 專業團隊接APP 外包 聯系QQ1129580542 vue-cli 是一個官方發布 vue.js 項目腳手架,使用 vue-cli 可以快速創建 vue 項目,GitHu
SpringCloud運行環境搭建(一)Centos7.0下jdk的安裝
mage ech 目錄 img 生效 deploy 服務 web tro 一、運行環境 1、jdk下載安裝 1.1、下載 地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 1.2、安
jenkins+ant+jmeter自動化環境搭建(一)
什麽 bsp put show e-mail ram 1.0 哪裏 miss 寫在最前面: jmeter:測試接口的工具,支持java語言; ant:Apache Ant是一個Java庫和命令行工具,其任務是將構建文件中描述的進程作為
Android自動化之Monkey環境搭建(一)
OS 安卓系統 我們 cmd 工具 jdk 自動化 monk 檢查 從事測試行業兩年了,一直很喜歡研究新技術,但是最近有點慵懶。正好公司新出了產品,督促我學習monkey用來測其穩定性。 網上搜索了很久,內容總是很零散,通常需要找幾篇文章才能搭好環境。特寫此文,一篇文章搞定
嵌入式開發環境搭建(一) 虛擬機實現橋接Ethernet網口 並且通過WIFI進行NAT聯網
war bubuko 搭建服務器 6.4 網線 16.4 聯網 橋接 圖片 背景: 目前手頭上有一塊JZ2440的板子,之前有搭建完整套開發環境,由於虛擬機故障需要從新搭建服務器端,故在此記錄搭建步驟 環境: Ubuntu16.4 VMWare 12 先行條件:
Appium+python移動端自動化測試-環境搭建(一)
過程 .com oid pytho 安裝環境 測試 ID alt ppi 搭建所在系統環境:Windows7版本64位系統 一、環境準備 jdk8.0.151 android-sdk_r20.3.4-windows python3.5 appium1.4.16
Docker for Windows安裝與Linux+PHP開發環境搭建(一)
Docker是什麼? 簡單得來說,Docker是一個由GO語言寫的程式執行的“容器”(Linux containers, LXCs); 目前雲服務的基石是作業系統級別的隔離,在同一臺物理伺服器上虛擬出多個主機。Docker則實現了一種應用程式級別的隔離; 它改變我們基本的開發、操作單元,
linux 核心模組程式設計之環境搭建(一)
這裡介紹些關於Tiny6410開發板核心的編譯,為後期驅動開發做前期的準備。 開發環境:64位的Ubuntu 14.01虛擬機器 目標機:友善之臂Tiny6410開發板 核心:linux-2.6.38-20110325.tar.gz 核心原始碼下載地址 htt
SpringMVC 學習 八 SSM環境搭建(一) web.xml配置
第一步:匯入jar包, 第二步:配置web.xml 在web.xml中,主要的配置內容有以下幾點 (1)spring容器配置檔案的位置 <!-- spring配置檔案位置 --> <context-param> <param-name>cont
瞎折騰之個人學習環境搭建(一):安裝XenServer
背景介紹 家裡只有一臺安裝WIN10的筆記本可供在下折騰,在下先安裝了個VMware® Workstation 12 Pro,計劃建立一臺虛擬機器安裝XenServer,再得用XenServer虛擬3臺Centos7,夠折騰的吧,其實如果僅虛擬Centos7,可以直接使用VMwar
React的環境搭建(一)
1 檢查是否安裝 node npm 2 init npm 按照提示新增內容 後使用ctrl + C 退出 3 檢查是否安裝&nbs
VsCode + node+ vue.js 開發環境搭建(一)
1.安裝最新的 vscode ,這個很容易安裝。 2.要在機器上開發 vue.js 有兩種模式,一種直接用 .js ,這種方式不用 安裝.node 環境,另一種用 webpack, 3.在機器安裝 node node-v10.8.0-x64.msi,在安裝過程中可能會出
SpringMVC環境搭建(一)
Spring MVC為展現層提供的基於MVC設計理念的優秀Web框架,是目前最主流的MVC框架之一。 Spring 3.0之後完全超越Struts2,稱為最優秀的MVC框架。學完SpringMVC之後,瞬時間就能讓你感到Struts2帶給你的殘酷。 Spring MVC通過一套MVC註解,讓POJO稱為處
Django學習筆記之環境搭建(一)
Django是一個高階的Python Web開發框架,它鼓勵快速開發,和實用的設計。它採用了MTV的設計模式,並且它由經驗豐富的開發人員來構建, 可以解決Web開發的諸多問題,因此也被稱為全棧Web開發框架。它是開源的,直接
ios自動化環境搭建(一)
目錄 mac os下搭建基於appium的ios自動化環境,可以按以下幾個步驟進行: 1、安裝homebrew Homebrew是一款Mac OS平臺下的軟體包管理工具,擁有安裝、解除安裝、更新、檢視、搜尋等很多實用的功能。簡單的一條指令
React Native在window下的環境搭建(一)
React Native官方開發文件 以下是本人抄錄的: 初次接觸React Native感覺和React很像,卻是有點類似,但不完全是,React Native有自己的元件物件,不過它也自定義的元件也是使用ES6中的語法定義。 首先是安裝的依賴,必須安裝:Node、React Nati
linux學習——PHP環境搭建(一)
1.獲取軟體源列表,輸入sudo apt-get install 安裝軟體; 2.建立/soft檔案,並給所有權; sudo mkdir /soft sudo chmod -R 777 soft 3.下載並安裝lnmp1.5整合環境 wget http://soft
centos下Docker環境搭建(一)
Docker是一個能夠把開發的應用程式自動部署到容器的開源引擎,基於客戶端-伺服器架構c/s,讓開發者可以打包他們的應用以及依賴包到一個可移植的容器中,然後釋出到任何流行的Linux 機器上,也可以實現虛擬化。容器是完全使用沙箱機制,相互之間不會有任何介面。 Docker