hadoop叢集環境搭建
和單機環境相比,叢集環境有一些不同,這裡以兩個節點為例
master:10.1.108.64
slave1:10.1.108.63
namenode:master
datanode:master,slave1
resourcenode:master
1./etc/hosts如下
[[email protected] hadoop-2.8.0]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 10.1.108.64 master 10.1.108.63 slave1
2.hdfs-site.xml中replication,單節點的時候是1,這裡要改成2
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
3.修改etc/hadoop/slaves,如下:
[[email protected] hadoop-2.8.0]# cat etc/hadoop/slaves
master
slave1
4.修改etc/hadoop/allnodes,如下:
[[email protected] hadoop-2.8.0]# cat etc/hadoop/allnodes
master
5.將master的所有配置檔案複製到slave1,注意slave1的檔案路徑必須和master一樣
6.在slave1上,修改hdfs-site-xml,如下,並建立對應目錄,後續增加其他slave,也不能使用之前別人用的目錄,需要新增
<property> <name>dfs.datanode.data.dir</name> <value>file:/root/hadoop/hdfs/data/slave1</value> </property>
7.設定master可以免密登陸slave1,如下
scp /root/.ssh/authorized_keys [email protected]:/root/.ssh
8.slave1上也需要執行格式化命令,效果和master一樣,如下
./bin/hdfs namenode -format
9.在master上,先停止服務,再啟動服務,命令如下:
./sbin/stop-all.sh
./sbin/start-all.sh
10.在master上檢視節點,如下:
[[email protected] hadoop-2.8.0]# jps
9506 NodeManager
9045 DataNode
9237 SecondaryNameNode
9401 ResourceManager
8939 NameNode
9871 Jps
[[email protected] hadoop-2.8.0]#
在slave1上檢視節點,如下:
[[email protected] hdfs]# jps
2529 NodeManager
2683 Jps
2415 DataNode
[[email protected] hdfs]#
11.在網頁端檢視節點,如下,顯示為主和備:
12.在50070下檢視datanode,如下:
相關推薦
大資料作業(一)基於docker的hadoop叢集環境搭建
主要是根據廈門大學資料庫實驗室的教程(http://dblab.xmu.edu.cn/blog/1233/)在Ubuntu16.04環境下進行搭建。 一、安裝docker(Docker CE) 根據docker官網教程(https://docs.docker.
Hadoop叢集環境搭建(雲伺服器,虛擬機器都適用)
為了配置方便,為每臺電腦配置一個主機名: vim /etc/hostname 各個節點中,主節點寫入:master , 其他從節點寫入:slavexx 如果這樣修改不能生效,則繼續如下操作 vim /etc/cloud/cloud.cfg 做preserve_hostname: true 修改 reb
hadoop叢集環境搭建之偽分散式叢集環境搭建
搭建叢集的模式有三種 1.偽分散式:在一臺伺服器上,啟動多個執行緒分別代表多個角色(因為角色在叢集中使用程序表現的) 2.完全分散式:在多臺伺服器上,每臺伺服器啟動不同角色的程序,多臺伺服器構成叢集 node01:NameNode node02:
VMware 下Hadoop叢集環境搭建之虛擬機器克隆,Hadoop環境配置
在上一篇我們完成了ContOS網路配置以及JDK的安裝,這一篇將在上一篇的基礎上繼續講解虛擬機器的克隆,hadoop環境搭建 虛擬機器克隆. 利用上一篇已經完成網路配置和jdk安裝的虛擬機器在克隆兩臺虛擬機器. 1. 將擬機hadoop01關機.
CDH版本Hadoop叢集環境搭建詳解
1、CDH版本hadoop重新編譯 1.1 為什麼要編譯? 由於cdh給出的hadoop的安裝包並沒有提供帶C程式訪問的介面,所以我們在使用本地庫(本地庫可以用來做壓縮,以及支援C程式等等)的時候就會出問題,所以一般需要自己重新編譯。 1.2 編譯環境的準備
Hadoop叢集環境搭建 與Hdfs
Hadoop部分 一、修改Hostname 命令:[[email protected] ~] vi /etc/sysconfig/network 開啟檔案後,(每個虛擬機器主機名不同) NETWORKING=yes #使用網路 HOSTNAME=hadoop0
大資料Hadoop叢集環境搭建(五)
Hadoop環境搭建Hadoop本地模式安裝 Hadoop部署模式 Hadoop部署模式有:本地模式、偽分佈模式、完全分散式模式。 區分的依據是NameNode、DataNode、ResourceManager、NodeManager等模組執行在幾個JVM程序、幾個機器。 一、本地模
大資料Hadoop叢集環境搭建(四)
安裝JDK 安裝Java JDK 1、 檢視是否已經安裝了java JDK。 [[email protected] Desktop]# java –version 注意:Hadoop機器上的JDK,最好是Oracle的Java JDK,不然會有一些問題,比如可能沒
大資料Hadoop叢集環境搭建(三)
在配置hadoop環境中 一、修改Hostname 1. 臨時修改hostname [[email protected] localhost]# hostname hadoop 這種修改方式,系統重啟後就會失效。 2、 永久修改hostname 想永久修改,應
大資料Hadoop叢集環境搭建(二)
第一部分 Linux環境安裝 一、Vmware網路模式介紹 參考:http://blog.csdn.net/collection4u/article/details/14127671 二、Linux環境VMware14與CenterOs7安裝版本 參考:https://blo
大資料Hadoop叢集環境搭建(一)
前言 Hadoop在大資料技術體系中的地位至關重要,Hadoop是大資料技術的基礎,對Hadoop基礎知識的掌握的紮實程度,會決定在大資料技術道路上走多遠。 這是一篇入門文章,Hadoop的學習方法很多,網上也有很多學習路線圖。本文的思路是:以安裝部署Apache Hadoop2.x
hadoop叢集環境搭建的血淚史
寒假從老家回來之後就著手hadoop叢集環境的搭建,預期兩天干完,最後花了四天才搞定。一方面是寒假裡比較懶散,做事沒什麼效率,另一方面也的確是受了誤導,走了不少彎路。網上hadoop叢集環境搭建的文章一搜一大把,但真正靠譜的沒幾篇,要麼是hadoop版本太老,要麼是步驟有缺
hadoop叢集環境搭建
和單機環境相比,叢集環境有一些不同,這裡以兩個節點為例 master:10.1.108.64 slave1:10.1.108.63 namenode:master datanode:master,slave1 resourcenode:master 1./etc/
在搭建Hadoop叢集環境時遇到的一些問題
最近在學習搭建hadoop叢集環境,在搭建的過程中遇到很多問題,在這裡做一些記錄。1. SSH相關的問題 問題一: ssh: connect to host localhost port 22: Connection refused 問題二: 遠端連線需要輸入密碼。 參照以下部落格即可解決: Li
在Linux的Centos6.5搭建hadoop叢集環境
Centos6.5搭建hadoop叢集環境 先概括一下整體思路 安裝centos6.5主機 關閉防火牆和selinux 配置網路 時間同步 ssh無密碼登入設定 安裝jdk 安裝hadoop 啟動 wordcount測試 安
Hadoop最完整分散式叢集環境搭建
分散式環境搭建之環境介紹 之前我們已經介紹瞭如何在單機上搭建偽分散式的Hadoop環境,而在實際情況中,肯定都是多機器多節點的分散式叢集環境,所以本文將簡單介紹一下如何在多臺機器上搭建Hadoop的分散式環境。 我這裡準備了三臺機器,IP地址如下: 192.16
hadoop分散式叢集環境搭建
參考 http://www.cnblogs.com/zhijianliutang/p/5736103.html 1 wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2
搭建多個節點的hadoop叢集環境(CDH)
提示:如果還不瞭解Hadoop的,可以下檢視這篇文章Hadoop生態系統,通過這篇文章,我們可以首先大致瞭解Hadoop及Hadoop的生態系統中的工具的使用場景。 搭建一個分散式的hadoop叢集環境,下面是詳細步驟,使用cdh5 。 一、硬體準備
CentOS 6.5 hadoop 2.7.3 叢集環境搭建
CentOS 6.5 hadoop 2.7.3 叢集環境搭建 所需硬體,軟體要求 使用 virtualbox 構建三臺虛擬機器模擬真實物理環境 作業系統:CentOS6.5 主機列表: master ip: 192.168.3.171 slav
Hadoop叢集化搭建(二)配置JAVA環境
軟體環境 作業系統 CentOS 6.4 64bit (Basic Server + 桌面環境) 虛擬機器 VMware Workstation 12.0