2. 程式人生 > >《Hadoop3.1》叢集搭建指南

《Hadoop3.1》叢集搭建指南

阿新 • • 發佈：2018-12-09

Hadoop3.1 叢集搭建指南

前言

本實驗基於Hadoop3.1 和 jdk1.8安裝，主要涉及內容是linux網路設定，主機設定，ssh遠端登陸設定，

用的作業系統是Centos6.8。

一：LINUX基本配置

步驟：(注：#代表超級使用者下使用)

1 建立單個使用者用於Hadoop叢集搭建

#：useradd username

再鍵入密碼就行了

2 修改sudoers檔案，使在Hadoop下可以使用sudo操作

在root下修改：#：/etc/sudoers 新增如下

3 修改主機名

# vi /etc/sysconfig/network

4 linux網路配置

# vi /etc/sysconfig/network-scripts/ifcfg-eth0

5 修改hosts檔案

# vi /etc/hosts

注：以上都是一臺主機的操作，如果進行叢集需要在hosts檔案新增節點主機IP和主機名

二：安裝JDK

1 解壓jdk

# tar -zxvf jdkname

2 配置環境變數

# vi /etc/profile  新增

export JAVA_HOME=/usr/java/jdk1.8.0_161

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

# source /etc/profile

（溫馨提示：如果你的centos預裝了jdk ，java -version會顯示預裝的版本，例如我安裝的明明是jdk1.8

他顯示1.7的

解決：

檢視安裝的版本

# rpm -qa | grep java

刪除預裝的版本（我的裡預裝的是這兩個）

# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64

# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.38-1.13.10.4.el6.x86_64

再次檢查發現只剩一個了

此時再java -version就會報錯，說沒有該命令

解決：輸入

# source /etc/profile 成功解決。）

三 ：安裝hadoop3.1

叢集規劃

主機名         角色            IP 賬戶 密碼 CPU 記憶體
master

NameNode

JobTracker

 192.168.58.131 root 111111 4vCPU 12GB
slave1

DataNode

TaskTracker

 192.168.58.132 root 111111 4vCPU 12GB
slave2

DataNode

TaskTracker

 192.168.58.133 root 111111 4vCPU 12GB

 

1 解壓

# tar -zxvf hadoop-3.1.1.tar.gz

假設解壓的檔案目錄在：/usr/hadoop下

2 修改配置檔案

# vi /usr/hadoop/etc/hadoop/core-site.xml

<configuration>

 <property>

 <name>fs.defaultFS</name>

 <value>hdfs://master:9000</value>

 </property>

 <property>

 <name>hadoop.tmp.dir</name>

 <value>file:///usr/hadoop/tmp</value>

 </property>

 </configuration>

# vi /usr/hadoop/etc/hadoop/hdfs-site.xml

<configuration>

 <property>

<name>dfs.replication</name>

 <value>3</value>

 </property>

<property>

 <name>dfs.namenode.name.dir</name>

 <value>file:///usr/hadoop/hdfs/name</value>

</property>

 <property>

<name>dfs.datanode.data.dir</name>

 <value>file:///usr/hadoop/hdfs/data</value>

 </property>

 <property>

 <name>dfs.namenode.secondary.http-address</name>

 <value>slave1:9001</value>

 </property>

 </configuration>

# vi /usr/hadoop/etc/hadoop/workers

slave1

slave2

# vi /usr/hadoop/etc/hadoop/mapred-site.xml

<configuration>

 <property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

</property>

 <property>

 <name>mapreduce.application.classpath</name>

 <value>

 /usr/hadoop/etc/hadoop,

/usr/hadoop/share/hadoop/common/*,

/usr/hadoop/share/hadoop/common/lib/*,

/usr/hadoop/share/hadoop/hdfs/*,

/usr/hadoop/share/hadoop/hdfs/lib/*,

/usr/hadoop/share/hadoop/mapreduce/*,

/usr/hadoop/share/hadoop/mapreduce/lib/*,

/usr/hadoop/share/hadoop/yarn/*,

/usr/hadoop/share/hadoop/yarn/lib/*

 </value>

 </property>

 </configuration>

# vi /usr/hadoop/etc/hadoop/yarn-site.xml

<configuration>

 <property>

 <name>yarn.nodemanager.aux-services</name>

 <value>mapreduce_shuffle</value>

</property>

 <property>

 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

 <value>org.apache.hadoop.mapred.ShuffleHandle</value>

 </property>

 <property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8025</value>

 </property>

 <property>

 <name>yarn.resourcemanager.scheduler.address</name>

 <value>master:8030</value>

 </property>

 <property>

 <name>yarn.resourcemanager.address</name>

 <value>master:8040</value>

 </property>

 </configuration>

# vi /usr/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_161

# source /opt/hadoop-3.1.0/etc/hadoop/hadoop-env.sh

# vi /usr/hadoop/etc/hadoop/start-yarn.sh

export YARN_RESOURCEMANAGER_USER=root

export HADOOP_SECURE_DN_USER=root

export YARN_NODEMANAGER_USER=root

# vi /usr/hadoop/etc/hadoop/stop-yarn.sh

export YARN_RESOURCEMANAGER_USER=root

export HADOOP_SECURE_DN_USER=root

export YARN_NODEMANAGER_USER=root

# vi /usr/hadoop/etc/hadoop/start-dfs.sh

export HDFS_NAMENODE_SECURE_USER=root

export HDFS_DATANODE_SECURE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

# vi /usr/hadoop/etc/hadoop/stop-dfs.sh

export HDFS_NAMENODE_SECURE_USER=root

export HDFS_DATANODE_SECURE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

3 克隆slave1和slave2

（注：centos6.8克隆後自動分配ip地址，ifconfig檢視ip地址，修改ifcfg-eth0檔案）

①：修改，點選克隆slave1的網路介面卡如下

②：修改內容如下

slave2同上。

 每個結點都執行

# vi /etc/profile

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

# source /etc/profile

# source /usr/hadoop/etc/hadoop/hadoop-env.sh

在master結點修改hadoop-env.sh

#  vi /usr/hadoop/etc/hadoop/hadoop-env.sh

export HDFS_NAMENODE_SECURE_USER=root

export HDFS_DATANODE_SECURE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

# source /usr/hadoop/etc/hadoop/hadoop-env.sh
 

4 配置ssh免密登入

在每個主機上都執行：ssh-keygen，提示直接鍵入y和enter

在master結點上執行：

ssh-copy-id 192.168.58.132

ssh-copy-id 192.168.58.132

格式化叢集

hdfs namenode -format

格式化成功

啟動叢集

start-all.sh

如果namenode沒有啟動則輸入：./hadoop-daemon.sh namenode start

jps

通過網頁訪問：

192.168.58.131:8088/

192.168.58.131:9870/

（注意：有的瀏覽器進不去192.168.58.131:9870,例如QQ瀏覽器就不行，也許我沒更新的原因，改用Chrome就好了。）

相關推薦

kubeadm HA master(v1.12.1)叢集搭建指南(離線包 + 自動化指令碼 + ipvs + keepalived + calico + helm) For Centos/Fedora_Kubernetes中文社群

0x00 文章楔子 本文旨在通過最簡易的方式指導讀者搭建HA kubernetes 1.12.1叢集 通過部署指令碼驅動kubeadm工具進行自動化部署，自動啟動keepalived負載均衡，calico網路外掛，並且開啟kube-proxy的IPVS模式。 本文中的自動化部署指令碼可以在Le

《Hadoop3.1》叢集搭建指南

Hadoop3.1 叢集搭建指南 前言 本實驗基於Hadoop3.1 和 jdk1.8安裝，主要涉及內容是linux網路設定，主機設定，ssh遠端登陸設定， 用的作業系統是Centos6.8。 一：LINUX基本配置 步驟：(注：#代表超級使用者下使用) 1 建立單個使用者用

Hadoop----叢集搭建指南（下卷）

前言 什麼是Hadoop? Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framewor

Hadoop----叢集搭建指南（中卷）

前言 本文的搭建基於上卷的配置，環境不再一一贅述。網路配置好的5臺節點均可相互ping通，對於節點hadoop1(192.168.20.2)可以ping同其餘四臺hadoop2(192.168.20.3)、hadoop3(192.168.20.4)、hadoop4(192.16

Hadoop----叢集搭建指南（上卷）

前言 閱讀本文，需要具備Linux、計算機網路的基礎知識。所以在文中出現的相關基礎知識，均以連結的形式給出，務必理解該連結的內容後，繼續閱讀本指南。 叢集搭建的環境多種多樣，本文采用VitualBox安裝5臺虛擬機器構建叢集。具體環境： CentOS 6.5 6

CDH 6.0.1 叢集搭建 「Process」

這次搭建我使用的機器 os 是 Centos7.4 RH 系的下面以流的方式紀錄搭建過程以及注意事項   Step1: 配置域名相關，因為只有三臺機器組叢集，所以直接使用了 hosts 的方法： 修改主機名 hostnamectl set-hostname ryze-1.bigdata

CDH 6.0.1 叢集搭建 「After install」

叢集搭建完成之後其實還有很多配置工作要做，這裡我列舉一些我去做的一些。 首先是去把 zk 的角色重新分配一下，不知道是不是我在配置的時候遺漏了什麼在啟動之後就有報警說目前只能檢查到一個節點。去將 zk 角色調整到三個節點。 上一張目前的角色圖 下面我將分別列出各應用的各個簡寫代表的意義： Hbas

kubeadm HA master(v1.11.0)叢集搭建指南(離線包 + 自動化指令碼 + ipvs + keepalived + calico)_Kubernetes中文社群

0x00 文章楔子 本文旨在通過最簡易的方式指導讀者搭建HA kubernetes 1.11叢集 通過部署指令碼驅動kubeadm工具進行自動化部署，自動啟動keepalived負載均衡，calico網路外掛，並且開啟kube-proxy的IPVS模式。 本文中的自動化部署指令碼可以在Lent

阿里雲Kubernetes實戰1–叢集搭建與服務暴露

前言： 考慮到公司持續整合與docker容器技術實施已有一段時間，取得了不錯的效果，但對於裝置運維、系統隔離、裝置利用率和擴充套件性還有待提升，綜合目前比較成熟的微服務技術，打算把現有業務遷移到K8S叢集。 由於公司所有業務均部署在阿里雲上，最開始就調研了阿里雲自己提供的Kubernetes叢集，但後來還

storm1.1.1叢集搭建

一 、storm安裝配置 1、storm1.1.1 下載地址 http://storm.apache.org 2、三臺伺服器名稱 192.168.20.86 master 192.168.20.32 slave1 192.168.20.124 slave2 3、

Redis 3.2.1叢集搭建

一、概述     Redis3.0版本之後支援Cluster. 1.1、redis cluster的現狀  　　目前redis支援的cluster特性： 　　1):節點自動發現 　　2):slave->master 選舉,叢集容錯 　　3):Hot re

Spark修煉之道（進階篇）——Spark入門到精通：第十五節 Kafka 0.8.2.1 叢集搭建

作者：周志湖 微訊號：zhouzhihubeyond 本節為下一節Kafka與Spark Streaming做鋪墊 主要內容 1.kafka 叢集搭建 1. kafka 叢集搭建 kafka 安裝與配置 tar -zxvf kafka_2

Redis 4.0.1叢集搭建

一、概述    Redis3.0版本之後支援Cluster.1.1、redis cluster的現狀 　　目前redis支援的cluster特性：　　1):節點自動發現　　2):slave->master 選舉,叢集容錯　　3):Hot resharding:線上分片　　4):進群管理:cluster

codis3.2.1叢集搭建與測試

Codis是一套用go語言編寫的,為了應對高並環境下的redis叢集軟體,原理是對一個redis key操作前,先把這個key通過crc32演算法,分配到不同redis的某一個slot上,實現併發讀寫功能.而且能通過zookeeper呼叫redis-sentinel來實現故障

Hive2.1.1叢集搭建

軟體環境: linux系統: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 主機配置: 一共m1, m2, m3這五部機, 每部主機的使用者名稱都為centos 192.168.179.20

Elasticsearch5.2.1叢集搭建，動態加入節點，並新增監控診斷外掛

寫在前邊的話 ES5.2.1 叢集部署參考：http://blog.csdn.net/gamer_gyt/article/details/59077189 對於叢集的監控和優化是很重要的一部分，如果想持久維護叢集，單單靠增加實體記憶體，cpu，硬碟是不夠的，必須通過一些方法來進行優化。 叢

Hadoop-2.4.1叢集搭建步驟

首先說明，博主以前也沒學過Hadoop，更別提Linux。只不過買了點資料，覺得不看也是浪費，索性找了時間學習了一下，別說，還真是吸引人。 言歸正傳，博主機器：筆記本 Y50-70 美版的 搭建環境：VM11（VMware Workstation 11），使用的是CenOS

spark 2.3.1叢集搭建(Master,Slave,Slave)

基礎配置同上篇部落格 需要注意的配置有兩個 cd /usr/local/spark/ cp ./conf/slaves.template ./conf/slaves #slaves檔案設定Worker節點。編輯slaves內容,把預設內容localho

hadoop2.8.4+spark2.3.1叢集搭建

1、安裝虛擬機器和linux系統（本文示例Ubuntu16.04 x86_64系統）（此處略過，詳見《安裝linux虛擬機器》）       為了更好使用，記得安裝virtual box的增強功能                                       

Kafka_2.12-2.5.1叢集搭建與引數調優

Kafka是目前業界使用最廣泛的訊息佇列。資料流轉常見這樣的業務場景，客戶端把採集到的日誌推送給Kafka，業務方可以消費Kafka的資料落地HDFS，用於離線分析，也可以使用Spark或Flink消費Kafka中的資料，用於實時計算。Kafka在資料流轉過程中發揮著紐帶作用，可用於日誌採集和資料處理系統間的