1. 程式人生 > >CDH5實踐(一)本地Yum軟體源安裝Cloudera Manager 5

CDH5實踐(一)本地Yum軟體源安裝Cloudera Manager 5

Cloudera Manager 5(以下簡稱CM)預設採用線上安裝的方式,給不能聯網際網路或者網路不暢的使用者帶來了不便,由於網路問題,屢裝屢敗的挫折感,讓初次學習CDH使用者真心體驗到萬事開頭難。本文講解了在CentOS 6環境下搭建本地Yum軟體源,區域網內的使用者在完全不連網際網路的情況下,完成CM的安裝。讓安裝CM的使用者體驗到一路next,然後finish的順暢感,速度是使用者的第一體驗。

一、搭建CM的本地Yum軟體源

CM線上文件中大致講解了如何搭建本地Yum,參見:Creating and Using a Local Package Repository ,由於兼顧到不同的作業系統和CM版本,描述的不夠細緻,下面就 CentOS-6.5-x86_64 和 CM5.0.2 版本的本地Yum軟體源的搭建步驟進行描述。

1、準備工作

關閉防火牆:

[javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. [[email protected] soft]# service iptables stop  
  2. iptables: Setting chains to policy ACCEPT: filter          [  OK  ]  
  3. iptables: Flushing firewall rules:                         [  OK  ]  
  4. iptables: Unloading modules:                               [  OK  ]  
  5. [[email protected] soft]#   

永久關閉防火牆,可以使用:chkconfig iptables off

關閉selinux:

[javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. 修改:/etc/selinux/config  
  2. SELINUX=disabled  
  3. 修改後,重啟機器。  

2、安裝Apache httpd web伺服器

檢查是否存在httpd服務:

[javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. [[email protected] soft]# service httpd status  

如果不存在,則用下面的命令安裝:

[javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. yum install httpd  

CentOS6預設安裝了httpd,啟動:

[javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. [[email protected] soft]# service httpd start  
  2. Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using localhost.localdomain for ServerName  
  3.                                                            [  OK  ]  
  4. [[email protected] soft]#   

上面的提示資訊不用理會。將httpd加入到啟動列表:chkconfig httpd on

httpd常用命令如下,供參考: [javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. 啟動命令:service httpd start  
  2. 關閉命令:service httpd stop  
  3. 重啟命令:service httpd restart  
  4. 檢視狀態:service httpd status  

3、下載CM資源包

到CM資源頁面:http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.0.2/ 下載資源包,對應CentOS的資源包為:

[javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. cm5.0.2-centos6.tar.gz  11-Jun-2014 18:12   517M       

這是壓縮包,解壓後包含CM安裝過程中需要的RPM檔案,除了 postgresql 資料庫安裝檔案。

4、釋出CM資原始檔

解壓資源包:

[javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. [[email protected] cloudera]# pwd  
  2. /home/soft/cloudera  
  3. [[email protected] cloudera]# ll  
  4. total 529076  
  5. -rw-r--r--. 1 root root 541768507 Jun 14 09:14 cm5.0.2-centos6.tar.gz  
  6. [[email protected] cloudera]# tar -zxvf cm5.0.2-centos6.tar.gz   
  7. cm/  
  8. cm/cloudera-manager.repo  
  9. cm/5  
  10. cm/5.0.2/  
  11. cm/5.0.2/mirrors  
  12. cm/5.0.2/repodata/  
  13. cm/5.0.2/repodata/other.xml.gz.asc  
  14. cm/5.0.2/repodata/filelists.xml.gz  
  15. cm/5.0.2/repodata/primary.xml.gz.asc  
  16. cm/5.0.2/repodata/repomd.xml  
  17. cm/5.0.2/repodata/other.xml.gz  
  18. cm/5.0.2/repodata/repomd.xml.asc  
  19. cm/5.0.2/repodata/primary.xml.gz  
  20. cm/5.0.2/repodata/filelists.xml.gz.asc  
  21. cm/5.0.2/RPMS/  
  22. cm/5.0.2/RPMS/x86_64/  
  23. cm/5.0.2/RPMS/x86_64/cloudera-manager-daemons-5.0.2-1.cm502.p0.297.el6.x86_64.rpm  
  24. cm/5.0.2/RPMS/x86_64/enterprise-debuginfo-5.0.2-1.cm502.p0.297.el6.x86_64.rpm  
  25. cm/5.0.2/RPMS/x86_64/cloudera-manager-server-db-2-5.0.2-1.cm502.p0.297.el6.x86_64.rpm  
  26. cm/5.0.2/RPMS/x86_64/cloudera-manager-server-5.0.2-1.cm502.p0.297.el6.x86_64.rpm  
  27. cm/5.0.2/RPMS/x86_64/cloudera-manager-agent-5.0.2-1.cm502.p0.297.el6.x86_64.rpm  
  28. cm/5.0.2/RPMS/x86_64/oracle-j2sdk1.7-1.7.0+update45-1.x86_64.rpm  
  29. cm/5.0.2/RPMS/x86_64/jdk-6u31-linux-amd64.rpm  
  30. cm/5.0.2/RPMS/noarch/  
  31. cm/RPM-GPG-KEY-cloudera  
  32. [[email protected] cloudera]# ll  
  33. total 529080  
  34. drwxrwxr-x. 3 1106  592      4096 Jun 11 11:08 cm  
  35. -rw-r--r--. 1 root root 541768507 Jun 14 09:14 cm5.0.2-centos6.tar.gz  
  36. [[email protected] cloudera]#   

移動解壓後的cm資料夾到Web目錄,並設定許可權: [javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. [[email protected] html]# pwd  
  2. /var/www/html  
  3. [[email protected] html]# mkdir -p cm5/redhat/6/x86_64  
  4. [[email protected] html]# cd cm5/redhat/6/x86_64  
  5. [[email protected] x86_64]# mv /home/soft/cloudera/cm .  
  6. [[email protected] x86_64]# chmod -R ugo+rX cm  
訪問http://<hostname>/cm5/redhat/6/x86_64/cm/,測試檔案索引頁面是否正常,如果頁面空白或者為You don't have permission to access,請檢查準備工作中的防火牆和selinux是否關閉。

至此,區域網內的CM資原始檔已經發布完成,下面的修改在客戶端進行,也就是安裝CM的機器,當然,存放CM資原始檔的機器也可以安裝CM。

二、離線安裝Cloudera Manager 5

1、安裝postgresql

在離線安裝CM時,有時會報如下的錯誤:

[javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. Resolving Dependencies  
  2. --> Running transaction check  
  3. ---> Package cloudera-manager-server-db-2.x86_64 0:5.0.2-1.cm502.p0.297.el6 will be installed  
  4. --> Processing Dependency: postgresql-server >= 8.4 forpackage: cloudera-manager-server-db-2-5.0.2-1.cm502.p0.297.el6.x86_64  
  5. --> Finished Dependency Resolution  
  6. Error: Package: cloudera-manager-server-db-2-5.0.2-1.cm502.p0.297.el6.x86_64 (cloudera-manager)  
  7.            Requires: postgresql-server >= 8.4  
  8.  You could try using --skip-broken to work around the problem  
  9.  You could try running: rpm -Va --nofiles --nodigest  
這是由於CM依賴postgresql,需要在本機上安裝postgresql,如果是線上安裝,自動以Yum方式安裝,由於是離線,無法自動安裝postgresql。

檢查是否安裝了postgresql:

[javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. [[email protected] postgresql84]# rpm -qa|grep postgres  
如果已經安裝,但版本小於8.4,則使用rpm -e解除安裝。

下面以rpm方式安裝postgresql,先到 http://yum.postgresql.org/8.4/redhat/rhel-6-x86_64/repoview/ 上下載postgresql8.4的包,需要下載三個包:

[javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. [[email protected] postgresql84]# ll  
  2. total 4532  
  3. -rw-r--r-- 1 root root  898392 Jun 15 01:10 postgresql84-8.4.21-1PGDG.rhel6.x86_64.rpm  
  4. -rw-r--r-- 1 root root  180396 Jun 15 01:10 postgresql84-libs-8.4.21-1PGDG.rhel6.x86_64.rpm  
  5. -rw-r--r-- 1 root root 3552400 Jun 15 01:10 postgresql84-server-8.4.21-1PGDG.rhel6.x86_64.rpm  
  6. [[email protected] postgresql84]#   
安裝PostgreSQL,注意安裝順序: [javascript] view plain copy 在CODE上檢視程式碼片派生到我的程式碼片
  1. [[email protected] postgresql84]# rpm -ivh postgresql84-libs-8.4.21-1PGDG.rhel6.x86_64.rpm  
  2. warning: postgresql84-libs-8.4.21-1PGDG.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 442df0f8: NOKEY  
  3. Preparing...                ########################################### [100%]  
  4.    1:postgresql84-libs      ########################################### [100%]  
  5. [[email protected] postgresql84]# rpm -ivh postgresql84-8.4.21-1PGDG.rhel6.x86_64.rpm   
  6. warning: postgresql84-8.4.21-1PGDG.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 442df0f8: NOKEY  
  7. Preparing...                ########################################### [100%]  
  8.    1:postgresql84           ########################################### [100%]  
  9. [[email protected] postgresql84]# rpm -ivh postgresql84-server-8.4.21-1PGDG.rhel6.x86_64.rpm   
  10. warning: postgresql84-server-8.4.21-1PGDG.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 442df0f8: NOKEY  
  11. Preparing...                ########################################### [100%]  
  12.    1:postgresql84-server    ########################################### [100%]  
  13. [[email protected] postgresql84]#   
postgresql包說明,供參考:
postgresql包含許多不同的包,包括第三方類庫,通常安裝最重要的包即可(能滿足大部分應用需求)。這些包如下:
postgresql - 客戶端類庫及二進位制檔案
postgresql-server - 核心的資料庫伺服器
postgresql-contrib - 附加的供應元件
postgresql-devel - 使用者C語言開發的類庫和標頭檔案
pgadmin3 - 資料庫影象化管理工具第三版

2、修改客戶端配置,使其可以找到資原始檔

在客戶端機器上關閉防火牆和selinux,參見準備工作中的描述。

新建名稱為 myrepo.repo 的軟體源配置檔案,內容如下:

相關推薦

CDH5實踐本地Yum軟體安裝Cloudera Manager 5

Cloudera Manager 5(以下簡稱CM)預設採用線上安裝的方式,給不能聯網際網路或者網路不暢的使用者帶來了不便,由於網路問題,屢裝屢敗的挫折感,讓初次學習CDH使用者真心體驗到萬事開頭難。本文講解了在CentOS 6環境下搭建本地Yum軟體源,區域網內的使用者在完全不連網際網路的情況下,完成CM

GitHub入門與實踐——在widows環境下安裝Git

1、Git最新版本下載地址 https://git-for-windows.github.io/ 2、按照下圖中的選項安裝即可: 1)選擇安裝路徑 2)選擇安裝的元件 3)設定開始欄中的資料夾名稱 4)設定環境變數,以後我們只用Git Bash 命令

ZABBIX實踐 服務端部署和安裝

zabbix 一款非常強大的監控軟體,不僅可以基於SNMP監控各種網路裝置,而且還可以監控linux win等各版本作業系統的狀態。 1、本次實踐的目標: 1) 搭建服務端和agent,實現監控 2)

linux驅動開發之framebuffer應用編程實踐

linux驅動開發之framebuffer驅動 1、framebuffer應用編程 (1)打開設備文件 (2)獲取設備信息 宏定義的命令在/linux/fb.h中 不可變信息FSCREENINFO,使用ioctl參數有FBIOGET_FSCREENINFO宏名,表示用ioctl從

本地yum配置

生效 光盤 repos -o enable 源配置 gpg 擴展 檢查 1、修改 vi /etc/yum.repos.d/CentOS-Media.repo baseurl=file:///mnt/cdrom 地址gpgcheck=0 檢查版本號 0為不檢查enab

Git常用命令------ 本地操作

mov ast 常用 stage director git reset 本地 posit 自動 本文總結自廖雪峰的網站。 幾個名詞: 工作區(Working Directory):電腦裏能看到的目錄 版本庫(Repository):包含暫存區和master 暫存區(Stag

前後端分離實踐

就是 經驗 靜態頁 局限 工具 服務器 png 開發人員 技術 前言 最近這一段時間由於Nodejs的逐漸成熟和日趨穩定,越來越多的公司中的前端團隊開始嘗試使用Nodejs來練一下手,嘗一嘗鮮。 一般的做法都是將原本屬於後端的一部分相對於業務不是很重要的功能遷移到Nodej

java線程與並發編程實踐

tee start new read 它的 static ctrl+ als 函數 一、給出線程的定義 線程就是一條在程序代碼中獨立執行的路徑二、給出runnable的定義 一個runnable就是一段封裝在對象中的代碼序列,它的類實現了runnable接口三、

Kotlin學習與實踐 基礎

eat 代碼塊 數據 eas 特性 neu 簡潔 跟著 pla 1、 函數和變量 直奔主題不啰嗦 * a.關鍵字 fun 用來聲明函數。* b.參數的類型寫在參數名字的後面。* c.函數可以定義再文件的最外層,不需要把它放入類中。* d.數組就是類。 和Java不同Kotl

Docker學習與實踐

docker一、docker的安裝 1.依賴包安裝 yum install -y yum-utils device-mapper-persistent-data lvm2 2.添加yum源 yum-config-manager --add-repo https://mirrors.ustc.edu.cn/do

git 在windows下的應用 - 本地倉庫代碼管理

軟件研發 研發管理 訪問https://gitforwindows.org/? 下載一個安裝包,一路next下去git config --global user.name "Pcdog" git config --global user.email "[email protected]"cd d:

mysql數據庫索引優化與實踐

都是 分鐘 必備 範圍查詢 無法使用 RM strong span 實踐 前言 mysql數據庫是現在應用最廣泛的數據庫系統。與數據庫打交道是每個Java程序員日常工作之一,索引優化是必備的技能之一。 為什麽要了解索引 真實案例 案例一:大學有段時間學習爬蟲,爬取了知乎30

ngrinder 壓力測試實踐 -- ngrinder介紹及部署

ngrinder dockr ngrinder ngrinder 介紹 ngrinder 是一款操作簡單,功能強大的分布式壓力測試工具,其可以簡單快速的開始測試,也可以靈活根據實際需求設計場景完成壓力測試工作。 快速開始第一步:輸入待測地址 第二步:設定壓測參數 第三步:設定預約或立刻開始 第四

Jmeter接口測試案例實踐

只需要 jmeter -c threads 文件 info 默認值 完成 image 1.1. 接口介紹本次測試的接口采用內網中的通訊錄查詢接口進行測試,接口參數如下:1.2.

Python編程入門到實踐

文本編輯器 apt 會有 linu sta all 就是 AS g++ 1.安裝文本編輯器Geany 首先確保已經安裝了gcc與g++(一般的Linux都會有內置的): sudo apt-get install gcc sudo apt-get install g++

KVM虛擬化實踐

KVMKVM虛擬化環境搭建:環境介紹:CentOS 7.4 一臺 IP:10.10.10.135/24 hostname:node1 1>查看系統版本信息(建議CentOS 7)[root@node1 ~]# cat /etc/redhat-releaseCentOS Linux release 7.4

yolov3實踐

如果 分享 攝像 div 步驟 主程序 char 第一篇 index 很多博友看了我的第一篇博客yolo類檢測算法解析——yolo v3,對其有了一定的認識和了解,但是並沒有貼出代碼和運行效果,略顯蒼白。因此在把篇博客理論的基礎上,造就了第一篇實踐文章,也就是本文。只要讀者

探果題庫實踐

7月 題目 bsp tle 頁面 alt get blank 決定 在這個上面已經花了很長一段時間,還沒有真實的接觸一個用戶,不確定這些時間是不是付諸東流。 現在決定把這個過程記錄下來。 網站首頁 :www.tamguo.com 章節頁面:http://www.tamg

Android ANR分析實踐:北京×××搭建ANR是什麽、產生的原因及如何避免ANR

例如 三種 handler 線程處理 不足 線程阻塞 種類 工具 input 一、 什麽是北京×××搭建 dsluntan.com VX:17061863513ANR ANR,(Application Not Responding) 即應用程序無響應,在android應

Spring Boot 最佳實踐快速入門

我想 並不是 系統 exe 輸出 開發環境 模型 hot 根據 一、關於Spring Boot 在開始了解Spring Boot之前,我們需要先了解一下Spring,因為Spring Boot的誕生和Spring是息息相關的,Spring Boot是Spring發展到一定程