1. 程式人生 > >hadoop學習筆記(五)——全分佈模式下SSH免密碼登陸的實現

hadoop學習筆記(五)——全分佈模式下SSH免密碼登陸的實現

1)  設定3臺機器的網路配置,並統一使用者名稱,root除外

master:192.168.2.10

slave1:192.168.2.11

slave2:192.168.2.12

2)  SSH免密碼登陸思想

因為三個節點要相互訪問,所以,三個節點都是客戶端,也都是伺服器端,我們分別在三個節點上建立一對金鑰檔案,金鑰檔案包括公鑰檔案(~/.ssh/id_rsa.pub)和私鑰檔案 (~/.ssh/id_rsa)。

客戶端在使用ssh登入到其他節點上的時候,ssh會發送私鑰去和其他節點上的公鑰去匹配,如果匹配成功,那麼就會自動登入,而不需要輸入密碼,這就實現了無密碼登入。  所以,客戶端要實現免密碼登入到目標節點上的時候,就需要把公鑰寫入目標節點上的~/.ssh/authorized_keys中。

3)  SSH免密碼登陸實現方式

將公鑰全部發送的master上,由master將各個客戶端節點的公鑰整合到~/.ssh/authorize_keys中,然後,用scp命令將 ~/.ssh/autorized_keys複製到其他兩個節點中

4)  檢視是否已安裝ssh

ssh –version/ssh -V

5)  客戶端建立祕鑰

ssh-keygen -t rsa   #用rsa演算法產生祕鑰

cd .ssh   #進入.ssh目錄中

ls  #檢視此目錄下的檔案:id_rsa  id_rsa.pub

依次在其他的客戶端上如法炮製

6)  將master的公鑰寫入master中

cp id_rsa.pub authorized_keys

修改許可權 #root使用者無需修改

ssh 主機名 #登入驗證

7)  將slave的公鑰寫入master中

slave2:scpid_rsa.pub

      cat id_rsa_01.pub >>~/.ssh/authorized_keys #寫入公鑰

      cat id_rsa_02.pub >> ~/.ssh/authorized_keys #寫入公鑰

8)  將master公鑰複製到slave中

slave1: scp authorized_keys [email protected]:~/.ssh/authorized_keys

slave2: scp authorized_keys

[email protected]:~/.ssh /authorized_keys

9)  ip與主機名繫結配置同步到其他兩臺slave機器

scp /etc/hosts [email protected]:/etc/hosts

scp /etc/hosts [email protected]:/etc/hosts

10)     相互之間進行【ssh 主機名】測試

11)感想

為了求新,我居然安裝了centos7.1,額滴歌神呢,變化有點大,有些命令都不靈了,不得不查資料整Linux了,所以從效率上來說,框架、系統、軟體啥的還是採用主流成熟版本較為妥當,可參考的資料也多!

相關推薦

hadoop學習筆記()——分佈模式SSH密碼登陸實現

1)  設定3臺機器的網路配置,並統一使用者名稱,root除外 master:192.168.2.10 slave1:192.168.2.11 slave2:192.168.2.12 2)  SSH免

Centos6.5SSH密碼登陸配置

配置SSH無密碼登陸 本教程配置說明 目的:實現主機名分別為 name 和 data2 的SSH免密碼登陸 兩臺主機均在hadoop使用者下進行操作 兩臺主機已實現基本網路配置 特別強調:免密碼ssh登陸每個個機子的/etc/hosts 的檔案內必

Hadoop學習筆記———《Mac OS X hadoop2.6.0安裝教程》

1、安裝jdk 2、ssh免密碼登陸 2.1、在終端命令列下輸入: $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 其中''裡的是登陸的密碼,因為

Java設計模式學習筆記() 單例模式

前言 本篇是設計模式學習筆記的其中一篇文章,如對其他模式有興趣,可從該地址查詢設計模式學習筆記彙總地址 1. 使用單例模式的原因 以Windows工作管理員為例,在Windows系統中,工作管理員是唯一的,多次開啟工作管理員,始終只能彈出一個唯一的工作管理員. 這麼做的理由有兩個: 節約資源 避免多個例項資

Mac環境 配置 密碼 登陸 阿里雲伺服器

環境說明 本地主機:個人mac 訪問主機:阿里雲ECS伺服器 本地主機需要執行的操作 a:進入根目錄下的ssh資料夾 cd ~/.ssh b:執行操作,生成RSA非對稱加密的金鑰 ssh-keygen -t rsa 然後一路按回車下去就好了,會生成相應的金

LinuxSSH密碼登入配置

假設有 A、 B 兩臺 Linux 伺服器,我們希望能夠從其中一臺伺服器通過 SSH 免密碼登入到另一臺伺服器。 兩臺伺服器的資訊如下: 主機名    IP地址    免密碼登入使用者名稱 server1    

Macssh密碼登入

每次ssh遠端登入Mac都需要密碼,很煩人,接下來我們就來使用公鑰私鑰的方式,來ssh遠端登入Mac免密碼。 本文示例為Mac遠端登入Mac,其它平臺應該類似,可以作為參考。 1,生成公鑰和私鑰(客

LinuxSSH密碼登陸其他指定主機

在做Linux下開發時,無論是Ubuntu的Debian系,還是CentOS的RedHat系,都難免要使用SSH無需密碼登入。 假設現在有兩臺機器[email protected](192.

Ubuntussh密碼登入安裝

1、首先在本機安裝openssh-server和openssh-client. 命令:sudo apt-get install openssh-server openssh-client 2、在檢查當前的目錄下有沒有.ssh這個檔案,沒有的話就mkdir下。 3、生成公鑰與

hadoop學習筆記(2)偽分佈模式配置

前面介紹了linux下hadoop的安裝和簡單配置,主要是獨立模式的配置,所謂獨立模式是指不需要執行任何守護程序(daemon),所有程式都再單個JVM上執行,由於在獨立模式下測試和除錯MapReduce程式較為方便,因此該模式適合用在開發階段。 這裡主要記錄了本人配置hadoop偽分佈模式的過程。所謂

Hadoop學習筆記—13.分布式集群中節點的動態添加與

情況 好的 當前 每次 原因 修改 輸入 task tle 開篇:在本筆記系列的第一篇中,我們介紹了如何搭建偽分布與分布模式的Hadoop集群。現在,我們來了解一下在一個Hadoop分布式集群中,如何動態(不關機且正在運行的情況下)地添加一個Hadoop節點與下架一個Had

Hadoop學習筆記————Zookeeper的環境搭建

per ip地址 整數 zookeep keep ado ima leader選舉 環境搭建 linux中/opt一般用來存放應用/var目錄一般用來存放日誌 sample為樣例文件,復制一份zoo.cfg文件 配置zoo文件,id為服務器id(整數),host為

hadoop學習筆記2---hadoop的三種運行模式

hadoop1、單機模式安裝簡單,在一臺機器上運行服務,幾乎不用做任何配置,但僅限於調試用途。沒有分布式文件系統,直接讀寫本地操作系統的文件系統。2、偽分布式模式在單節點上同時啟動namenode、datanode、jobtracker、tasktracker、secondary namenode等進程,模擬

hadoop學習筆記):HBase體系結構和數據模型

ems 服務器端 們的 code 修改 保存 重新 table lpad 1. HBase體系結構 一個完整分布式的HBase的組成示意圖如下,後面我們再詳細談其工作原理。 1)Client 包含訪問HBase的接口並維護cache來加快對HBase的訪問。 2)Zooke

大資料Hadoop學習筆記

分散式部署 本地模式Local Mode 分散式Distribute Mode 偽分散式 一臺機器執行所有的守護程序 從節點DN和NM只有一個 完全分散式

Khan公開課 統計學學習筆記 正態分佈

正態分佈:二項分佈極好的近似X是隨機變數,E(X)是期望值。正態分佈(normal distribution)也稱為高斯分佈(Gaussian distribution),或者鐘形曲線(bell curve)。(x-μ)/σ也稱為z score(注意:z score是個通用的概念,包括非正態分佈)。因此正態分

Hadoop學習筆記—13.分散式叢集中節點的動態新增與

開篇:在本筆記系列的第一篇中,我們介紹瞭如何搭建偽分佈與分佈模式的Hadoop叢集。現在,我們來了解一下在一個Hadoop分散式叢集中,如何動態(不關機且正在執行的情況下)地新增一個Hadoop節點與下架一個Hadoop節點。 一、實驗環境結構   本次試驗,我們構建的叢集是一個主節點,三個從節點的結構,

hadoop學習筆記) java heap space報錯

                  Java    heap   space 報錯 實驗過程中,執行map過程中,出現task failed,報錯為java heap space,原因是jvm的記憶體太小了,無法達到要求,修改方法一般是改程序序,減小程式消耗的記憶體,還有就是增大datanode的jvm記

Hadoop故障處理】分佈,DataNode程序正常啟動,但是網頁上不顯示,並且DataNode節點為空

【故障背景】DataNode程序正常啟動,但是網頁上不顯示,並且DataNode節點為空。/etc/hosts   的ip和hostname配置正常,各個機器之間能夠ping通。【日誌錯誤資訊】2018-06-11 17:29:08,165 INFO org.apache.h

零基礎大資料HADOOP學習-筆記3-安全模式 safemode

【安全模式 safemode】 3種方式 方式一:Namenode的一種狀態,啟動時會自動進入安全模式,在安全模式,檔案系統不 允許有任何修改,“只讀不寫”。目的,是在系統啟動時檢查各個DataNod