hadoop全分散式叢集:配置主從節點之間的免密登入
要想實現主節點 對 從節點的管理:
需要配置主節點對從節點的免密登入。
**主節點hostname:vdevops
從節點hostname:test2
hadoop版本:2.8.2
主從節點可以相互通訊**
1.主節點中產生RSA金鑰
1.1
首先檢查目錄/home/hadoop/.ssh下是否有id_rsa、 id_rsa.pub兩個檔案,如有,刪除之
1. 2
在主節點中執行,產生金鑰
[hadoop@vdevops ~]$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
b9:18:3b:50:cd:d9:48:eb:be:84:c0:49 :fb:8e:1e:0a hadoop@vdevops
The key's randomart image is:
+--[ RSA 2048]----+
| . |
| + = |
| . . * . |
| o + . . |
| * . S |
| + * . |
|E . * + |
| . . + o . |
| ..o . . |
+-----------------+
1.3 生成金鑰之後,公鑰的形式:
[ [email protected] .ssh]$ cat id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCpmiWNRvoBJ5w3f9V58nnHfitKOYxMMvCyOLP0siXtCAUHcOdfJkQQ00Qe9USRAFseosuzL7vDwYBk4jdwrbb1o/OIwbZB7qh8JuNfFHkmKqdwHToze85cRSnXDz7R/YJ7K+/v0AdNVM9XIB6xKXPXiEFp8Cp1S1p00Ld4nJpvxYcjFNl1JLi/l/DVlPyNv4KS3RD4SqFNbVzFgXdEoi3nL5i48Jgjb0XNXSsrGz03trLRRkqGPPqdFQW4bXww1f+pZpRmzU0c1Ng+Azf1SMNq4D3YOIKEePodw28n9ajOpy4NyOz0yvKIXQx8vArKw8ho5QKSEN5EDWCJfC09pAjP [email protected]
[[email protected] .ssh]$ pwd
/home/hadoop/.ssh
2. 將主節點中產生RSA金鑰分佈到從節點中
[hadoop@vdevops .ssh]$ scp id_rsa.pub hadoop@test2:~/vdevops_key
The authenticity of host 'test2 (192.168.1.127)' can't be established.
ECDSA key fingerprint is a7:8a:dc:21:a9:73:ba:92:74:08:02:14:c4:ba:01:0d.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'test2,192.168.1.127' (ECDSA) to the list of known hosts.
[email protected]'s password:
id_rsa.pub
解釋:scp id_rsa.pub [email protected]:~/vdevops_key: 將 id_rsa.pub傳到test2上,並且重新命名為vdevops_key,即檔案vdevops_key內容與id_rsa.pub 相同
3. 在從節點中設定主節點的金鑰為授權金鑰
[hadoop@test2 ~]$ mv ~/vdevops_key ~/.ssh/authorized_keys #移動vdevops_key並重命名為authorized_keys
[hadoop@test2 ~]$ chmod 600 ~/.ssh/authorized_keys #設定許可權
4.嘗試主節點登入到從節點
可以直接登入從節點 而不需要密碼,顯示如下:
[[email protected] ~]$ ssh test2
Last login: Wed Dec 20 14:07:09 2017 from 192.168.1.247
相關推薦
hadoop全分散式叢集:配置主從節點之間的免密登入
要想實現主節點 對 從節點的管理: 需要配置主節點對從節點的免密登入。 **主節點hostname:vdevops 從節點hostname:test2 hadoop版本:2.8.2 主從節點可以相互通訊** 1.主節點中產生RSA金鑰 1.1
配置hadoop各個節點之間免密碼登入實踐筆記
前言: 最近在搭建Hadoop環境需要設定無密碼登陸,所謂無密碼登陸其實是指通過證書認證的方式登陸,使用一種被稱為"公私鑰"認證的方式來進行ssh登入。 在linux系統中,ssh是遠端登入的預設工具,因為該工具的協議使用了RSA/DSA的加密演算法
linux下主從節點互相免密匙登陸
ssh 發送 scp 安裝 修改 lin 節點 生成 -c 安裝了三個節點,master,slave1,slave2 1.主節點免密匙登陸從節點主機點窗口輸入 ssh-keygen -t rsa 一路回車下去2.然後輸入cat ~/.ssh/id_rsa.pub &g
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫——安裝配置OPEN-SSH,設定主機節點之間免密互訪
配置root使用者免密互訪(為了方便,各臺系統中使用統一的證書檔案)一、安裝Open-SSH 1,查詢系統中是否安裝了openssh [[email protected]]# opm -qa |grep ssh 如已安裝,則列出下面類似的軟體包 openssh-server-7.4p1-16.
大資料之Hadoop學習(環境配置)——Hadoop偽分散式叢集搭建
title: Hadoop偽分散式叢集搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大資料 點選檢視我的部落格: Josonlee’s Blog 文章目錄 前言準備 偽分
hadoop偽分散式叢集搭建及配置記錄
如果已經走到了需要搭建hadoop偽分散式的環境了,那說明你至少做好了以下三點建立好了自己的虛擬機器,ip、本機名對映、防火牆、安全子系統都已經配置好了下載jdk1.7及以上版本,並配置好了java環境下載hadoop2.7.0及以上版本,並解壓到、opt/modules(自
Hadoop分散式叢集安裝配置步驟
之前介紹過Hadoop偽分散式模式的安裝配置步驟,現在記錄一下分散式叢集的安裝配置步驟,本文使用3臺測試伺服器,下面是各伺服器的角色: - node1:NameNode, DataNode, NodeManager - node2:SecondaryNameNode,
ubuntu18.04 搭建hadoop完全分散式叢集(Master、slave1、slave2)共三個節點
一、硬體配置以及作業系統: 所需要的機器以及作業系統:一臺mac os筆記本、一臺window筆記本(CPU雙核四執行緒,記憶體8G),其中mac os用於遠端操作,window筆記本裝有虛擬機器,虛擬出3個ubuntu18.04系統(配置CPU1個執行緒2個,記憶體1.5G,硬碟分配每個7
Hadoop本地模式、偽分散式和全分散式叢集安裝與部署
<link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/
hadoop完全分散式叢集搭建全部流程之四:ssh和指令碼補充
SSH無密碼登入 1)配置ssh:配置ssh無密碼登入主要 是為了方便叢集之間進行通訊,方便運算。 (1)基本語法 ssh 另一臺電腦的ip地址 (2)ssh連線時出現Host key verif
hadoop 全分散式配置
1./etc/profile.d/資料夾下建立hadoop.sh HADOOP_COMMON_HOME=/opt/hadoop HADOOP_HDFS_HOME=/opt/hadoop HADOOP_MAPRED_HOME=/opt/hadoop HADOOP_YARN
阿里雲ECS伺服器部署HADOOP叢集(一):Hadoop完全分散式叢集環境搭建
準備: 兩臺配置CentOS 7.3的阿里雲ECS伺服器; hadoop-2.7.3.tar.gz安裝包; jdk-8u77-linux-x64.tar.gz安裝包; hostname及IP的配置: 更改主機名: 由於系統為CentOS 7,可以直接使用‘hostnamectl set-hostname 主機
linux下安裝hadoop偽分散式叢集
1. 在虛擬機器上安裝了centos7, 下載hadoop。http://hadoop.apache.org/releases.html 這裡選擇2.7版本而不是3.0版本 不選3.0版本的理由,檢視版本更新日誌
hadoop 全分散式環境搭建—— 詳細步驟
材料:三臺 linux 虛擬機器 hadoop2.7.2 版本 以下全分散式搭建步驟 :前期分別 配置好JDK 建立hadoop 使用者 設定好主機名稱 hosts 主機地址對映 免密登入 防火牆關閉 三臺虛擬機器的互相通訊 開始安裝
搭建hadoop偽分散式叢集環境過程中遇見的問題總結
1、網路配置問題: 在centos7中配置網路環境後,本機(win10系統)與虛擬機器centos7網路不通(本機可以ping通虛擬機器,但是虛擬機器ping不通本機); 解決方式: 方式1:檢視本機win10系統的防火牆是否關閉,若沒有,直接關閉win10系統的防火牆即可; 方式2
windows10下 eclipse連線虛擬機器中的Hadoop偽分散式叢集
在windows用eclipse連線hadoop之後,可以便於進行mapreduce開發,非常方便,如果在虛擬機器裡面用eclipse的話 ,emmmmmm,你會卡到懷疑人生。 首先需要去下載eclipse,這個直接官網就ok link
【hadoop】hadoop完全分散式叢集安裝
文章目錄 前言 裝備 Core 總結 前言 後面準備更新hdfs操作(shell命令版本),hbase,hive的操作。 所以這裡先更新一下hadoop叢集安裝。 裝備 1.hadoop-2.6.5.tar.gz
史上最簡單詳細的Hadoop完全分散式叢集搭建
一.安裝虛擬機器環境 Vmware12中文官方版 連結:https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取碼:6rep 啟用祕鑰:MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 這個安裝就十分的簡單了,只需要不斷點選下
hadoop偽分散式叢集的搭建
叢集配置: jdk1.8.0_161 hadoop-2.6.1 linux系統環境:Centos6.5 建立普通使用者 dummy Hadoop偽分散式叢集搭建: 為普通使用者新增sudo許可權: 設定之前必須得安裝sudo,先su 輸入密碼進入root使用者
hbase 在三臺centos7上的分散式叢集的配置部署
linux映象是centos7 Hadoop版本2.8.0 zookeeper版本3.5.1 hbase版本1.3.1 jdk 1.8 hadoop 部署 zookeeper的部署 hbase的部署 注意點一:在叢集各個節點