hadoop2.8+centos7叢集搭建
本叢集搭建於以下軟體:
VMware Workstation12 Pro
SecureCRT 7.3
Xftp 5
CentOS-7-x86_64-Everything-1611.iso
hadoop-2.8.0.tar.gz
jdk-8u121-linux-x64.tar.gz
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
這裡的叢集是
192.168.195.132 Master、Namenode、SecondNameNode、DataNode
192.168.195.133 Slaver1 DataNode
192.168.195.134Slaver2 DataNode
一、虛擬機器的安裝
VMware Workstation Pro的安裝步驟不再贅述,next、next就行,只做Centos的安裝步驟詳解
1.VMware Workstation12 Pro選擇新建虛擬機器
2.選擇典型
3.安裝程式光碟映像檔案,選擇你的CentosISO檔案,下一步
4.輸入新建的虛擬機器名:Master|Slaver1|Slaver2
5.分配磁碟大小,指定檔案拆分型別,下一步
6.網路選擇橋接模式、複製主機實體地址,記憶體和磁碟根據自己的條件選擇就好了,關閉
備註:選擇橋接模式能虛擬出一臺和真是主機沒有多大區別的虛擬機器
7.建立後開啟此虛擬機器
8.選擇Install Centos 7
9.Next、Next、Next我選擇的是最小化安裝,在安裝的過程中設定自己的root密碼,直到下面這一步
10.Login,修改主機名
hostnamectl --static set -hostname <host-name>
- 1
之後登出重新登入,就可以看到主機名已經成功地被修改了
11.修改網絡卡
vi /etc/sysconfig/network-scripts/ifcfg-ens33
- 1
把Onboot修改為Yes
:wq儲存,然後service network restart
12.檢視IP地址:ifconfig
從圖中得到IP地址:172.17.11.110,子網掩碼:255.255.255.0
13.檢視DNS:
nmcli dev show|grep DNS
- 1
14.檢視閘道器:
route -n
- 1
15.修改網絡卡
vi /etc/sysconfig/network-scripts /ifcfg-ens33
- 1
修改靜態IP地址,新增IP地址、子網掩碼、閘道器、DNS
儲存,
16.重啟閘道器 service network restart
17.檢視防火牆狀態
systemctl status firewalld
- 1
我這裡顯示防火牆沒有關閉
18.關閉防火牆
systemctl stop firewalld
- 1
禁止防火牆
systemctl disable firewalld
- 1
19.進位制Selinux
vi /etc/sysconfig/selinux
- 1
其他的機器按照一樣的步驟來,虛擬機器安裝準備到此結束
二、免密碼登入
分別在每一臺機器上執行
ssh-keygen -t rsa
- 1
一路回車,然後到/root/.ssh資料夾下
在Master上將id_rsa.pub重定向到authorized_keys
cat id_rsa.pub>>authorized_keys
- 1
將Slaver1/Slaver2的id_rsa.pub追加到authorized_keys
ssh slaver1的IP地址 cat /root/.ssh/id_rsa.pub>>authorized_keys
- 1
檢視id_rsa.pub中的內容:
將authorized_keys分發到Slaver1、Slaver2的/root/.ssh目錄下
scp authorized_keys slaver1/slaver2的IP地址 /root/.ssh/
- 1
可以試一下ssh slaver1/slaver2
可以看到現在Master上登入在Slaver1、Slaver2並不需要手動輸入密碼了
如果不能直接ssh slavername,需要先手動配置一下master 上的/etc/hosts檔案
然後再通過scp命令分發到每臺從節點的對應位置
三、JDK的安裝
通過xftp連結虛擬機器,新建連結
在Windows中找到JDK檔案,然後雙擊傳輸到Centos中/usr/local路徑下
在終端中解壓:
tar -xvf jdk-8u121-linux-x64.tar.gz
- 1
- 2
然後將解壓後的資料夾重新命名為java
配置環境變數:
vi /etc/profile
在profile檔案末尾追加:
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
- 1
- 2
- 3
儲存,
source /etc/profile
- 1
在終端輸入:java -version
,出現以下內容說明JDK安裝成功
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
- 1
- 2
- 3
最後通過scp命令將整個資料夾分發到從節點Slaver1、Slaver2上
四、Hadoop的安裝
1.通過xftp將Hadoop傳到master:/usr/local路徑下:
然後解壓,將解壓後的檔案重新命名為hadoop,配置環境變數:
vi /etc/profile,在檔案末尾追加:
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_HOME=$HADOOP_HOME/etc/hadoop/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
- 1
- 2
- 3
source /etc/profile
使配置檔案生效
2.修改配置檔案
- vi /usr/local/hadoop/etc/hadoop-env.sh檔案新增
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
- 1
- vi /usr/local/hadoop/etc/yarn-env.sh檔案新增
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
- 1
- 配置core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.195.132:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 配置yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.195.132:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.195.132:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.195.132:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.195.132:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.195.132:8088</value>
</property>
</configuration>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 修改hdfs-site.xml檔案
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.195.132:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
- 1
- 2
-
相關推薦
hadoop2.8+centos7叢集搭建
本叢集搭建於以下軟體:VMware Workstation12 Pro SecureCRT 7.3 Xftp 5 CentOS-7-x86_64-Everything-1611.iso hadoop-2.8.0.tar.gz jdk-8u121-linux-x64.
Hadoop 偽分散式環境搭建——hadoop2.8+centos7(零基礎&完整版)
引言: 環境: 一、安裝虛擬機器 在windows系統中安裝VMware14pro,直接下載安裝,無需贅述 ps:如有條件,請購買使用 二、安裝linux作業系統 CentOS 是一個基於Red Hat Linux 提供的可自由使用
Ubuntu + Hadoop2.7.3叢集搭建
先搭建Hadoop偽分佈: Ubuntu + Hadoop2.7.3偽分佈搭建 1.修改/etc/hosts檔案,IP對映 內容如下: 注:10.13.7.72為master節點IP,10.13.7.71為slave節點IP。(根據自己的IP地址設定) 2.修改maste
Hadoop2.8.5叢集完整配置
先配一個單個的hadoop叢集(虛擬機器有namenode、datanode ) 一、先安裝一臺乾淨的虛擬機器(Centos6.10) 1、先解決各種網路配置 2、主機名與IP對映 3、安裝jdk 4、免密設定(具體的去我部落格裡面找一下) 1)安裝jre或jd
Hadoop2.7.4叢集搭建
HDFS:分散式檔案系統 MAPREDUCE:分散式運算程式開發框架 HIVE:基於HADOOP的分散式資料倉庫,提供基於SQL的查詢資料操作 HBASE:基於HADOOP的分散式海量資料庫
k8s 1.8.10 叢集搭建
k8s 1.8.10 Build 1.環境資訊 OS–>centos7.2 kubernetes–>1.8.10 flannel–>0.9.1 docker–>17.12.0-ce etcd–>3.2.12 da
Hadoop2.7.6叢集搭建
首先,搭建的準備工作:Linux(CentOS)、xshell、至少8G記憶體。 建立幾個虛擬機器,一主多從,每一個建立的時候,在最後安裝前的設定裡面,設定網路和主機名的兩個地方,一個是IPv4那裡,設定好IP地址,埠號和閘道器;還有一個是在常規那裡勾選上第一個。每一個建立完,都要檢測是否能
Hadoop2.6.0叢集搭建
1. 基本概念 2. 基礎配置 2.1 三臺伺服器(可以使用虛擬機器) 系統:Ubuntu14.04 64位 Server版 Jdk版本:jdk1.7.0_79 Hadoop版本: 2.6.0 Zookeeper版本: 3.4.6 2.
CentOS6.5環境部署Hadoop2.8.1叢集(HA)
部署前提 1、三臺主機安裝JDK1.7 2、關閉防火牆、selinux 3、配置靜態IP 一、所用軟體 hadoop-2.8.1 zookeeper-3.4.6 二、機器規劃(對應關係寫入到/etc/hosts) IP HOS
centos7下Hadoop2.8.4全分佈搭建之HDFS叢集搭建(一)
1)搭建前的準備 注意:(以下操作可以先配置一臺,然後通過scp命令傳送到其他兩臺虛擬機器上 傳送到其他機器 scp -r 主機名: 注意:載入環境變數 source /etc/profile
Centos7.5搭建Hadoop2.8.5完全分散式叢集
一、基礎環境設定 1. 準備4臺客戶機(VMware虛擬機器) 系統版本:Centos7.5 192.168.208.128 ——Master 192.168.208.129 ——Slaver-1 192.168.208.130 ——Slaver-2 192.168.208.130 ——Slaver-3
03. 搭建Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)
org 配置文件 java profile path 同時 hadoop2 scp 運行 一、下載安裝scala 1、官網下載 2、spar01和02都建立/opt/scala目錄,解壓tar -zxvf scala-2.12.8.tgz 3、配置環境變量 vi /et
centos7 hadoop HA高可用叢集搭建( hadoop2.7 zookeeper3.4 )
目錄 七、總結 上篇文章寫了如何用ssh免密登入,當然這些操作都是在hadoop賬號上的操作,包括這篇文章也是一樣 三臺主機 一、伺服器環境 主機名 IP 使用者名稱 密碼 安裝目錄 node1 192.168.31.
centos7+hadoop 2.8 的多節點叢集搭建
1、叢集IP 192.168.2.218 hadoop-slave-1 192.168.2.4 hadoop-master 2、java 選用自帶的java 1.7.0. openjdk 關於java版本和hadoop版本的搭配可以參考hadoop官方wiki htt
hadoop2.7.1在vmware上3臺centos7虛擬機器上的完全分散式叢集搭建
叢集架構 centos7的安裝 安裝java hadoop全分佈 ssh無密碼登入 hadoop叢集正常啟動測試 以下內容均屬個人理解,如有偏差,望大家諒解。 叢集架構 3臺虛擬機器都在同一個區域網中,網段是192.168.10.0,子網掩碼是
centos7 搭建ha(高可用)hadoop2.7.3叢集
寫在前面 作為一個單體應用開發人員對於理解分散式應用和微服務的理論還可以。但是部署分散式環境來說還是一個挑戰。最近在學習hadoop,正也把學習的東西分享出來,希望幫助感興趣的人。 前面一章寫了centos7搭建hadoop叢集 再跟著做本章實驗前建議初學
Linux安裝Spark叢集(CentOS7+Spark2.1.1+Hadoop2.8.0)
[plain] view plain copy print?{SPARK_HOME}/bin </span></span></li></ol></div><pre code_snippet_id="2398
hadoop2.8.4+spark2.3.1叢集搭建
1、安裝虛擬機器和linux系統(本文示例Ubuntu16.04 x86_64系統)(此處略過,詳見《安裝linux虛擬機器》) 為了更好使用,記得安裝virtual box的增強功能
centos7中基於hadoop安裝hive(CentOS7+hadoop2.8.0+hive2.1.1)
root drive notepad lds opts 裝配 -- 3.2 window 1下載hive 下載地址:http://hive.apache.org/downloads.html 點擊上圖的Download release now! 如圖:
Centos7安裝Sqoop(CentOS7+Sqoop1.4.6+Hadoop2.8.0+Hive2.1.1)
rem unable 分布式文件 createdb obb 很多 bsp reat .cn 註意:本文只講Sqoop1.4.6的安裝。和hive一樣,sqoop只需要在hadoop的namenode上安裝即可。本例安裝sqoop的機器上已經安裝了hdoop2.8.0和h