2. 程式人生 > >使用Ambari給HDP叢集安裝Kerberos

使用Ambari給HDP叢集安裝Kerberos

阿新 • • 發佈：2019-02-09 
環境：Amabri 2.2.2、HDP 2.4.2、CentOS 6.5

以下沒有特殊說明的操作都是在ws1es機器上進行的：

1.在叢集中找臺機器安裝KDC

#這臺機器自帶了kerberos client的兩個包，需要先升級再安裝server
[root@ws1es sysconfig]# rpm -qa | grep krb
krb5-workstation-1.10.3-10.el6_4.6.x86_64
krb5-libs-1.10.3-10.el6_4.6.x86_64
python-krbV-1.0.90-3.el6.x86_64
pam_krb5-2.3.11-9.el6.x86_64
[root@ws1es
 
 ~]# rpm -Uvh krb5-libs-1.10.3-57.el6.x86_64.rpm krb5-workstation-1.10.3-57.el6.x86_64.rpm 
warning: krb5-libs-1.10.3-57.el6.x86_64.rpm: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY
Preparing...                ########################################### [100%]
   1:krb5-libs              ############
 
############################### [50%]
   2:krb5-workstation       ########################################### [100%]
[root@ws1es ~]# rpm -qa | grep krb
krb5-libs-1.10.3-57.el6.x86_64
python-krbV-1.0.90-3.el6.x86_64
pam_krb5-2.3.11-9.el6.x86_64
krb5-workstation-1.10.3-57.el6.x86_64
[root@ws1es ~]# rpm -ivh krb5-server-1.10.3-57.el6.x86_64.rpm 
 

warning: krb5-server-1.10.3-57.el6.x86_64.rpm: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY
Preparing...                ########################################### [100%]
   1:krb5-server            ########################################### [100%]
#這麼裝是因為我們的機器都不允許聯網，如果您的機器能聯網直接下就可以了。如下：
yum install krb5-server krb5-libs krb5-workstation
2.增加主機名與IP對映（別忘了發給其它節點）

[[email protected] ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.66 ws1es.wondersoft.cn ws1es
192.168.1.65 ws1m.wondersoft.cn ws1m
192.168.1.64 ws1nn1.wondersoft.cn ws1nn1
192.168.1.61 ws1dn1.wondersoft.cn ws1dn1
192.168.1.62 ws1dn2.wondersoft.cn ws1dn2
192.168.1.63 ws1dn3.wondersoft.cn ws1dn3
3.修改三個配置檔案

#第一個檔案，修改[realms]裡的kdc和admin_server所在主機，EXAMPLE.COM這個域名也應修改，因為改了後面都得改我就沒改。
[root@ws1es ~]# cat /etc/krb5.conf 
[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 default_realm = EXAMPLE.COM
 dns_lookup_realm = false
 dns_lookup_kdc = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true

[realms]
 EXAMPLE.COM = {
  kdc = ws1es.wondersoft.cn
  admin_server = ws1es.wondersoft.cn
 }

[domain_realm]
 .example.com = EXAMPLE.COM
 example.com = EXAMPLE.COM
第二個檔案，前面域名改了的話這裡的域名也得改，與之對應。其餘保持預設
[root@ws1es ~]# cat /var/kerberos/krb5kdc/kdc.conf 
[kdcdefaults]
 kdc_ports = 88
 kdc_tcp_ports = 88

[realms]
 EXAMPLE.COM = {
  #master_key_type = aes256-cts
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
 }
第三個檔案，沒有的話手動建一個。
#Set up the KDC Access Control List (ACL)
[root@ws1es ~]# cat /var/kerberos/krb5kdc/kadm5.acl 
*/admin@EXAMPLE.COM *
4.Copy the krb5.conf to every cluster node（用不著，只拷給ambari server所在機器就可以，其它節點後面會自動分發）

[root@ws1es ~]# scp /etc/krb5.conf ws1dn1:/etc/
[root@ws1es ~]# scp /etc/krb5.conf ws1dn2:/etc/
[root@ws1es ~]# scp /etc/krb5.conf ws1dn3:/etc/
[root@ws1es ~]# scp /etc/krb5.conf ws1nn1:/etc/
[root@ws1es ~]# scp /etc/krb5.conf ws1m:/etc/
5.Use the utility kdb5_util to create the Kerberos database

[[email protected] ~]# /usr/sbin/kdb5_util create -s -r EXAMPLE.COM
Loading random data
Initializing database '/var/kerberos/krb5kdc/principal' for realm 'EXAMPLE.COM',
master key name 'K/[email protected]'
You will be prompted for the database Master Password.
It is important that you NOT FORGET this password.
Enter KDC database master key: 
Re-enter KDC database master key to verify:

出現 Loading random data 的時候另開個終端執行點消耗CPU的命令如 cat /dev/sda > /dev/urandom 可以加快隨機數採集。
6.Start the KDC server and the KDC admin server

[root@ws1es ~]# service krb5kdc start
正在啟動 Kerberos 5 KDC：                                  [確定]
[root@ws1es ~]# service kadmin start
正在啟動 Kerberos 5 Admin Server：                         [確定]
7.Set up the KDC server to auto-start on boot

[root@ws1es ~]# chkconfig krb5kdc on
[root@ws1es ~]# chkconfig kadmin on
8.Create a KDC admin by creating an admin principal

[root@ws1es ~]# kadmin.local 
Authenticating as principal root/admin@EXAMPLE.COM with password.
kadmin.local:  addprinc admin/admin@EXAMPLE.COM
WARNING: no policy specified for admin/admin@EXAMPLE.COM; defaulting to no policy
Enter password for principal "admin/admin@EXAMPLE.COM": 
Re-enter password for principal "admin/admin@EXAMPLE.COM": 
Principal "admin/admin@EXAMPLE.COM" created.
kadmin.local:  listprincs 
K/M@EXAMPLE.COM
admin/admin@EXAMPLE.COM
kadmin/admin@EXAMPLE.COM
kadmin/changepw@EXAMPLE.COM
kadmin/ws1es.wondersoft.cn@EXAMPLE.COM
krbtgt/EXAMPLE.COM@EXAMPLE.COM
9.Restart the kadmin process.

[root@ws1es ~]# service kadmin restart
10.關閉防火牆和selinux（所有節點）

[root@ws1es ~]# service iptables stop
iptables：將鏈設定為政策 ACCEPT：filter                    [確定]
iptables：清除防火牆規則：                                 [確定]
iptables：正在解除安裝模組：                                   [確定]
[root@ws1es ~]# service iptables status
iptables：未執行防火牆。

[root@ws1es ~]# setenforce 0 #臨時關閉selinux
[root@ws1es ~]# vim /etc/selinux/config#永久關閉，需重啟
把裡邊的一行改為SELINUX=disabled
11.下載JCE
補充1：
JCE（Java Cryptography Extension）是一組包，它們提供用於加密、金鑰生成和協商以及 Message Authentication Code（MAC）演算法的框架和實現。
它提供對對稱、不對稱、塊和流密碼的加密支援，它還支援安全流和密封的物件。它不對外出口，用它開發完成封裝後將無法呼叫。
補充2：
If you are using Oracle JDK, you must distribute and install the JCE on all hosts in the cluster, including the Ambari Server. 
Be sure to restart Ambari Server after installng the JCE. If you are using OpenJDK, some distributions of the OpenJDK
 come with unlimited strength JCE automatically and therefore, installation of JCE is not required.

For Oracle JDK 1.8:

http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html

For Oracle JDK 1.7:

http://www.oracle.com/technetwork/java/javase/downloads/jce-7-download-432124.html
12.將下載的JCE解壓並覆蓋$JAVA_HOME/jre/lib/security/目錄下的檔案（所有節點）

[[email protected] ~]# unzip UnlimitedJCEPolicyJDK7.zip 
Archive:  UnlimitedJCEPolicyJDK7.zip
   creating: UnlimitedJCEPolicy/
  inflating: UnlimitedJCEPolicy/US_export_policy.jar  
  inflating: UnlimitedJCEPolicy/local_policy.jar  
  inflating: UnlimitedJCEPolicy/README.txt  
[[email protected] ~]# cd UnlimitedJCEPolicy
[[email protected] UnlimitedJCEPolicy]# ll
總用量 16
-rw-rw-r-- 1 root root 2500 6月   1 2011 local_policy.jar
-rw-r--r-- 1 root root 7289 6月   1 2011 README.txt
-rw-rw-r-- 1 root root 2487 6月   1 2011 US_export_policy.jar
[[email protected] UnlimitedJCEPolicy]# cp *.jar /opt/java/jre/lib/security/
cp：是否覆蓋"/opt/java/jre/lib/security/local_policy.jar"？ y
cp：是否覆蓋"/opt/java/jre/lib/security/US_export_policy.jar"？ y
[[email protected] UnlimitedJCEPolicy]# cd /opt/java/jre/lib/security/
[[email protected] security]# ll
總用量 136
-rw-r--r-- 1 root root  3890 9月  30 09:55 blacklist
-rw-r--r-- 1 root root 92776 9月  30 09:55 cacerts
-rw-r--r-- 1 root root   158 9月  30 09:55 javafx.policy
-rw-r--r-- 1 root root  2593 9月  30 09:55 java.policy
-rw-r--r-- 1 root root 17838 9月  30 09:55 java.security
-rw-r--r-- 1 root root    98 9月  30 09:55 javaws.policy
-rw-r--r-- 1 root root  2500 12月  7 17:01 local_policy.jar
-rw-r--r-- 1 root root     0 9月  30 09:55 trusted.libraries
-rw-r--r-- 1 root root  2487 12月  7 17:01 US_export_policy.jar


#替換其它節點的JCE
[[email protected] security]# scp *.jar ws1m:/opt/java/jre/lib/security/
local_policy.jar                                                                                                                                                                                                                            100% 2500     2.4KB/s   00:00    
US_export_policy.jar                                                                                                                                                                                                                        100% 2487     2.4KB/s   00:00    
[[email protected] security]# scp *.jar ws1dn1:/opt/java/jre/lib/security/
The authenticity of host 'ws1dn1 (192.168.1.61)' can't be established.
RSA key fingerprint is b4:59:18:46:76:2e:27:e2:2c:5b:36:9b:49:b8:72:7b.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ws1dn1,192.168.1.61' (RSA) to the list of known hosts.
local_policy.jar                                                                                                                                                                                                                            100% 2500     2.4KB/s   00:00    
US_export_policy.jar                                                                                                                                                                                                                        100% 2487     2.4KB/s   00:00    
[[email protected] security]# scp *.jar ws1dn2:/opt/java/jre/lib/security/
The authenticity of host 'ws1dn2 (192.168.1.62)' can't be established.
RSA key fingerprint is 45:47:8e:56:08:66:2b:23:a6:a6:f1:09:14:8a:64:91.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ws1dn2,192.168.1.62' (RSA) to the list of known hosts.
local_policy.jar                                                                                                                                                                                                                            100% 2500     2.4KB/s   00:00    
US_export_policy.jar                                                                                                                                                                                                                        100% 2487     2.4KB/s   00:00    
[[email protected] security]# scp *.jar ws1dn3:/opt/java/jre/lib/security/
The authenticity of host 'ws1dn3 (192.168.1.63)' can't be established.
RSA key fingerprint is 02:5c:3b:ce:20:f1:27:f9:6e:ca:f9:95:f6:66:84:6f.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ws1dn3,192.168.1.63' (RSA) to the list of known hosts.
local_policy.jar                                                                                                                                                                                                                            100% 2500     2.4KB/s   00:00    
US_export_policy.jar                                                                                                                                                                                                                        100% 2487     2.4KB/s   00:00    
13.Launching the Kerberos Wizard (Automated Setup)

①選第一個
第一步
②按之前配置的填好KDC和Kadmin，填好後一定要Test KDC Connection，通了之後再進行下一步
第二步
③等它自動安裝和測試通過後點next即可
第三步
④之後的保持預設點next即可
這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述

14.安裝成功後，新增服務會多出以下介面，建立該服務的key

這裡寫圖片描述

15.安裝成功後，檢視它自動建立的principal和keytab

[[email protected] ~]# kadmin.local
Authenticating as principal admin/[email protected].COM with password.
kadmin.local:  listprincs 
HTTP/ws1dn1.wondersoft.cn@EXAMPLE.COM
HTTP/ws1dn2.wondersoft.cn@EXAMPLE.COM
HTTP/ws1dn3.wondersoft.cn@EXAMPLE.COM
HTTP/ws1nn1.wondersoft.cn@EXAMPLE.COM
K/[email protected].COM
admin/[email protected].COM
[email protected].COM
dn/ws1dn1.wondersoft.cn@EXAMPLE.COM
dn/ws1dn2.wondersoft.cn@EXAMPLE.COM
dn/ws1dn3.wondersoft.cn@EXAMPLE.COM
[email protected].COM
hive/ws1dn3.wondersoft.cn@EXAMPLE.COM
jhs/ws1dn1.wondersoft.cn@EXAMPLE.COM
kadmin/[email protected].COM
kadmin/[email protected].COM
kadmin/ws1es.wondersoft.cn@EXAMPLE.COM
krbtgt/EXAMPLE.COM@EXAMPLE.COM
nfs/ws1dn1.wondersoft.cn@EXAMPLE.COM
nfs/ws1nn1.wondersoft.cn@EXAMPLE.COM
nm/ws1dn1.wondersoft.cn@EXAMPLE.COM
nm/ws1dn2.wondersoft.cn@EXAMPLE.COM
nm/ws1dn3.wondersoft.cn@EXAMPLE.COM
nn/ws1dn1.wondersoft.cn@EXAMPLE.COM
nn/ws1nn1.wondersoft.cn@EXAMPLE.COM
rm/ws1nn1.wondersoft.cn@EXAMPLE.COM
[email protected].COM
yarn/ws1dn2.wondersoft.cn@EXAMPLE.COM
zookeeper/ws1dn1.wondersoft.cn@EXAMPLE.COM
zookeeper/ws1dn2.wondersoft.cn@EXAMPLE.COM
zookeeper/ws1dn3.wondersoft.cn@EXAMPLE.COM


[[email protected] keytabs]# ll
總用量 40
-r-------- 1 hdfs      hadoop 388 12月  7 18:18 dn.service.keytab
-r--r----- 1 hdfs      hadoop 308 12月  7 18:18 hdfs.headless.keytab
-r-------- 1 mapred    hadoop 393 12月  7 18:18 jhs.service.keytab
-r-------- 1 hdfs      hadoop 393 12月  7 18:18 nfs.service.keytab
-r-------- 1 yarn      hadoop 388 12月  7 18:18 nm.service.keytab
-r-------- 1 hdfs      hadoop 388 12月  7 18:18 nn.service.keytab
-r--r----- 1 ambari-qa hadoop 333 12月  7 18:18 smokeuser.headless.keytab
-r-------- 1 spark     hadoop 313 12月  7 18:18 spark.headless.keytab
-r--r----- 1 root      hadoop 398 12月  7 18:18 spnego.service.keytab
-r-------- 1 zookeeper hadoop 423 12月  7 18:18 zk.service.keytab
[[email protected] keytabs]# pwd
/etc/security/keytabs

相關推薦

使用Ambari給HDP叢集安裝Kerberos

環境：Amabri 2.2.2、HDP 2.4.2、CentOS 6.5 以下沒有特殊說明的操作都是在ws1es機器上進行的： 1.在叢集中找臺機器安裝KDC #這臺機器自帶了kerberos client的兩個包，需要先升級再安裝server [r

ambari搭建HDP叢集

1. cat /proc/version （Linux檢視當前作業系統版本資訊） 2.cat /etc/issue  或cat /etc/redhat-release（Linux檢視版本當前作業系統發行版資訊） 3.lsb_release -a 當前作業系統 的 詳細資訊

CentOS安裝HDP叢集-1 安裝mysql、Ambari

安裝HDP前，先要安裝Ambari，它提供了圖形化安裝和管理hadoop叢集。 CDH官網：https://docs.hortonworks.com/index.html 可以選擇版本下載： 然後點安裝 後面就到安裝文件頁面了,後面可以根據它來安裝了。 本次安裝環境介紹下

Ambari 2.1安裝HDP2.3.2 之 六、安裝部署HDP叢集 詳細步驟

六、安裝部署HDP叢集 瀏覽器訪問 http://master:8080，進入amabri登入頁面，使用者名稱：admin，密碼： admin 選擇 Launch Install Wizard: 1. Get started 給叢集起個名字

Hadoop建設工具Ambari的安裝部署及完整使用（五）——Ambari使用之叢集解除安裝

五.Ambari使用——解除安裝叢集 方式一： ambari本身並沒有提供基於web管理端的自動化解除安裝的功能。ambari web管理端的操作更多的是實現服務或是主機的擴充套件（無法完全清除服務和主機）。因此本人通過實踐，也整理了一份手動解除安裝指令碼： 注：因為此指令碼只是根

Hadoop建設工具Ambari的安裝部署及完整使用（四）——Ambari使用之叢集建立

四.Ambari使用——建立叢集 登入並建立叢集 1) 以管理員登入ambari-server,使用者名稱和密碼預設為：admin/admin 2) 點選【Launch Install Wizard】開始安裝叢集   3) 給叢集命名

HDP-2.6.5 & ambari-2.6.2 安裝配置

mkdir 12c val HERE lean prior root mysql tools 安裝文件列表 * ambari.repo * ambari-2.6.2.2-centos7.tar.gz * hdp.repo * HDP-2.6.5.0-centos7-rpm.

Ambari 2.4.1 安裝HDP 2.5中遇到的問題解決

本人是Ambari新手，第2詞安裝Ambari及HDP，上次次安裝比較順利，因為伺服器上比較乾淨沒有殘餘，這次是由於想使用spark2.0，本來從ambari從2.4.0升級到2.4.1，及HDP從2.4.2升級到2.5都很順利，但是在使用spark2.0時程式老報錯，我

Ambari web介面下HDP叢集管理

1.File View使用       File View可檢視hadoop叢集環境的所有文件。 選擇右側標題欄中，Admin右側的Files View: File View做file使用的基本檢測： 成功後，File View就可以使用了，如下圖所示：

Ambari HDP叢集搭建全攻略

>世界上最快的捷徑，就是腳踏實地，本文已收錄【[架構技術專欄](https://www.jiagoujishu.com)】關注這個喜歡分享的地方。 > 最近因為工作上需要重新用Ambari搭了一套Hadoop叢集，就把搭建的過程記錄了下來，也希望給有同樣需求的小夥伴們一個參考， > >

Mac給php7.0安裝php-redis擴展

是否 服務器 php7 查看 順序 AS cnblogs glin oca 註：操作系統10.13.3 版本，其他版本的Mac系統應該也是可以的 先安裝 按照順序在命令行執行下面命令,如果當前用戶權限不夠的話，執行命令加上 sudo cd /usr/local/Cella

給Ubuntu18.04安裝mac os主題

技術分享 shel rod 無法 是你 paper 中一 最大化 好的 安裝完的效果： 參考： https://linuxhint.com/gnome-tweak-tool-ubuntu-17-10/ ————————————————————————————

Windows 2016 容錯移轉叢集安裝 (1) 叢集安裝

技術分享 ges 建立 nbsp spa 9.png ima tom ear Windows 2016 容錯移轉叢集安裝 (1) 叢集安裝環境:. 網域 - 網域控制站RADIO-AP-1.xxx.com LAN 11.131.113.71

自制Hadoop偽分佈、叢集安裝詳細過程（vmware）

Hadoop單機版、偽分佈、叢集安裝教程推薦連結： http://dblab.xmu.edu.cn/blog/page/2/?s=Hadoop 注：vmware6.5及以上，執行命令基本相同，除了編輯檔案時“vi”指令替換為“vim”指令 一、下載安裝所需檔案   

linux安裝Kerberos

一，簡介 Kerberos協議： Kerberos協議主要用於計算機網路的身份鑑別(Authentication), 其特點是使用者只需輸入一次身份驗證資訊就可以憑藉此驗證獲得的票據(ticket-granting ticket)訪問多個服務，即SSO(Single Sign On)。由於在每個Clien

Proxmox5.2叢集安裝Ceph

本人低配五臺機器，用來學習Proxmox，首先把這幾臺電腦叢集起來，在每臺機器上同步時間：用這條命令：#vi /etc/systemd/timesyncd.conf開啟timesyncd.conf檔案，在檔案里加入這條語句 [Time] Servers=ntp1.aliyun.com ntp2.ali

第5章 選舉模式和ZooKeeper的叢集安裝 5-1 叢集的一些基本概念

xx就是我們的master，也就是我們的主節點。心跳機制，當有一個節點掛掉之後，整個叢集還是可以工作的。選舉模式，我們現在的master是正常執行的，但是在某些情況下它宕機了宕機了，那麼這個時候它這個叢集裡面就少了master，沒有master兩個slave需要去競爭。競爭完之後slave1把slave2給幹

Kubernetes學習系列之簡單叢集安裝與配置

環境配置 CentOS Linux release 7.3.1611 (Core)  etcd-v3.2.6 docker-ce-17.03.2.ce kubernetes-v1.6.9 192.168.108.128 節點1 192.168.108.129 節點2 19

ETCD叢集安裝配置及簡單應用

環境配置 CentOS Linux release 7.3.1611 (Core)  etcd-v3.2.6 192.168.108.128 節點1 192.168.108.129 節點2 192.168.108.130 節點3 ETCD

Storm-0.10.0叢集安裝

一、環境 兩臺虛擬機器，ubuntu-14.04.3 二、關閉防火牆，配置hosts [email protected]:~# cat /etc/hosts 127.0.0.1 localhost 127.0.1.1 ubuntu 192.168.254.130 sto