Hadoop叢集搭建通過指令碼配置hosts檔案
此指令碼需要expect命令,使用前確認一下機器收否有安裝:which expect
思路:1.編寫好要追加到hosts檔案內容的檔案(IP_hosts_test)
2.編寫指令碼檔案testRead.sh(巢狀expect,實現自動登入),讀取上面的檔案,獲取ip,然後登入到其他機器,追加hosts
#!/bin/bash
ips=`cat IP_hosts_test |awk '{print $1}'`
for ip in $ips
do
echo -e "\n-------------開始追加hosts檔案---------------------\n"
password='rootroot'
ip='127.0.0.1'
echo -e "\n\n$ip\n"
/usr/bin/expect<<EOF
spawn scp /tmp/IP_hosts_test [email protected]$ip:/tmp/
expect {
"(yes/no)?" {
send "yes\r"
expect "*assword" {
send "$password\r"
}
}
"*assword" {
send "$password\r"
}
}
spawn ssh $ip
expect {
"(yes/no)?" {
send "yes\r"
expect "*assword" {
send "$password\r"
}
}
"*assword" {
send "$password\r"
}
}
expect "*]#"
send "cat /tmp/IP_hosts_test >> /etc/hosts\r"
expect eof
EOF
echo -e "\n-------------追加hosts檔案結束---------------------\n"
done
相關推薦
Hadoop叢集搭建通過指令碼配置hosts檔案
此指令碼需要expect命令,使用前確認一下機器收否有安裝:which expect 思路:1.編寫好要追加到hosts檔案內容的檔案(IP_hosts_test) 2.編寫指令碼檔案testRead.sh(巢狀expect,實現自動登入),讀取上面
Hadoop叢集搭建-04安裝配置HDFS
Hadoop叢集搭建-03編譯安裝hadoop Hadoop叢集搭建-02安裝配置Zookeeper Hadoop叢集搭建-0
Hadoop叢集搭建-05安裝配置YARN
Hadoop叢集搭建-04安裝配置HDFS Hadoop叢集搭建-03編譯安裝hadoop Hadoop叢集搭建-
Hadoop叢集搭建-02安裝配置Zookeeper
Hadoop叢集搭建-05安裝配置YARN Hadoop叢集搭建-04安裝配置HDFS Hadoo
centos7搭建hadoop叢集之xcall指令碼
在一些特定場景下,需要所有節點同時執行相同的命令,比如主機hadoop1執行ls命令,其他節點主機也同時執行ls命令,實現這種效果快捷方式一般有兩種: 1.使用工具,同一傳送執行命令,如SecureCRT,同時連線所有節點,在視窗下面可以直接輸入需要同時執行的命令。 優
ssh無密登入配置詳解(hadoop叢集搭建)
ssh無密登入原理 注:私鑰和公鑰是每個使用者獨有的,而不是機器或者伺服器的,比如一臺電腦或者伺服器或者虛擬機器,可以同時存在多個使用者,但不同使用者需要遠端登入其他伺服器或者虛擬機器時,都必須配置各自的私鑰和公鑰,而且使用者之間的各不相同 常用命令 ssh ip(遠端登入也可
Liunx系統Hadoop叢集搭建配置
下面是hadoop安裝流程 進入下載頁面 http://archive.apache.org/dist/ 找到hadoop點選進入 2.在這個頁面點選common進去後可以看見各種版本的hadoop 3.在這裡我選擇安裝2.7.3版本的 4.點選進入下載t
關於hadoop配置hosts檔案的問題
在之前的一篇blog裡,寫到我的python指令碼無法正常執行,後來是修改了hosts檔案,今天有個同事又重新講解了下問題,發現之前的理解有誤差。 這裡在介紹一下另外一種方式,就是在每臺機器的host
HDFS環境搭建(單節點配置) hadoop叢集搭建(hdfs)
【參考文章】:hadoop叢集搭建(hdfs) 1. Hadoop下載 官網下載地址: https://hadoop.apache.org/releases.html,進入官網根據自己需要下載具體的安裝包 清華大學安裝包的映象檔案下載地址: https://mirrors.tuna.
《Hadoop》之"踽踽獨行"(九)Hadoop叢集的四個配置檔案的屬性解析
在啟動hadoop叢集的守護執行緒時,一定會載入並執行相關的class位元組碼檔案。通過common模組和hdfs模組裡的原始碼可以看到,它們讀取了相關的配置檔案。 hadoop-common-2.7.3-sources.jar下的org.apache.hadoop.conf.Configura
Hadoop叢集搭建——環境配置
一、叢集搭建注意問題說明 1、此處叢集環境搭建我使用了三臺主機進行模擬,分別為: hadoop-series.bxp.com hadoop-series1.bxp.com hadoop-series2.bxp.com 2、叢集搭建前需要注意的問題:
Hadoop----叢集搭建指南(下卷)
前言 什麼是Hadoop? Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framewor
Hadoop----叢集搭建指南(中卷)
前言 本文的搭建基於上卷的配置,環境不再一一贅述。網路配置好的5臺節點均可相互ping通,對於節點hadoop1(192.168.20.2)可以ping同其餘四臺hadoop2(192.168.20.3)、hadoop3(192.168.20.4)、hadoop4(192.16
Hadoop----叢集搭建指南(上卷)
前言 閱讀本文,需要具備Linux、計算機網路的基礎知識。所以在文中出現的相關基礎知識,均以連結的形式給出,務必理解該連結的內容後,繼續閱讀本指南。 叢集搭建的環境多種多樣,本文采用VitualBox安裝5臺虛擬機器構建叢集。具體環境: CentOS 6.5 6
CentOS7下靜態ip地址分配(Hadoop叢集搭建)
作業系統是CentOS 在搭建Hadoop過程中,發現每一次啟動虛擬機器,ip地址就會變化。 這是由於一開始安裝CentOS的時候,有一個自動連線乙太網,他會自動給你分配ip地址,但是我們往往需要的是另一個。 首先看我的主機對映, 可以看到131,132,133 對應是,主機,
hadoop叢集搭建(docker)
背景 目前在一家快遞公司工作,因專案需要,對大資料平臺做個深入的瞭解。工欲利其器必先利其器,在網上找了許多教程,然後自己搭建一個本地的環境並記錄下來,增加一些印象。 環境搭建 1)Ubuntu docker pull ubuntu:16.04 docker images&nb
Hadoop叢集搭建以及遇到問題詳解
轉載:http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ centos7單機、分散式、偽分佈:https://blog.csdn.net/qq_40938267/article/details/83416665 有詳細的搭建過程
分散式系統詳解--框架(Hadoop-叢集搭建)
分散式系統詳解--框架(Hadoop-叢集搭建) 前面的文章也簡單介紹了,hadoop的環境搭建分為三種,單機版,偽分
Hadoop叢集的安裝與配置
一.準備Linux環境(虛擬機器) 1.先將虛擬機器的網路模式選為NAT 2.修改主機名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hdp-node-01
Hadoop叢集搭建一:Single node cluster
Hadoop叢集搭建一:Single node cluster 本文主要介紹在單個ubantu機器上搭建hadoop叢集。 1.ubuntu虛擬機器安裝 採用Vmware workstation10工具來安裝ubuntu系統,ubuntu使用的是64位的18.04-desktop版本