1. 程式人生 > >偽分散式的hadoop配置

偽分散式的hadoop配置

關於hadoop的發展和歷史以及簡介,這樣的廢話就不說,簡而言之就一句話,開源的分散式雲端計算。

解壓即可。

先對偽分散式的概念進行說明一下,整個環境的配置是基於linux的,目前鄙人使用的是redhat6企業版。

可以把偽分散式的Hadoop看做只有一個節點的叢集,在這個叢集中,這個節點既是Master,也是Slave;既是NameNode,也是DataNode;既是JobTracker,也是TaskTracker。

安裝和配置Hadoop偽分散式有兩個必要的條件,一個是JDK的環境,一個是linux SSH環境。其中SSH環境,最好配置為免密碼登陸。(笑話:此處的SSH不是java裡面的SSH框架,如果你是這麼認為,我只能跟你說一句話:你很farmer。偷笑

)關於這兩個環境的配置,這邊就不一一講解了,可以參照其他博文。

下面開始來配置Hadoop:

1、進入conf資料夾,修改Hadoop-evn.sh,指定JDK

export JAVA_HOME=/opt/jdk1.6.0_43

2、配置HDFS的(Hadoop分散式檔案系統)的地址和埠號

conf/core-site.xml:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

3、HDFS的預設備份方式是3,單機修改為1

conf/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

4、配置JobTracker的地址及埠,MapReduce的配置

conf/mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

接下來就是啟動Hadoop,先格式化HDFS。進入Hadoop資料夾,輸入命令:bin/Hadoop namenode -format

啟動Hadoop的命令:bin/start-all.sh

如果此處你沒有配置SSH免密碼登陸,需要你輸入多次的使用者密碼。

如果啟動成功,你可以在瀏覽器下分別輸入:

http://localhost:50030 為MapReduce的web頁面

http://localhost:50070 為HDFS的web頁面

如果都能檢視,說明配置成功。


相關推薦

CentOS7環境下分散式安裝配置hadoop

(一) 設定靜態IP地址 cd /etc/sysconfig/network-scripts vim ifcfg-ens33 修改IPADDR,NETMASK,GATEWAY為對應的值 修改BOOTPROTO為none 儲存並退出 重啟網絡卡 servi

Hadoop 2.7 分散式安裝配置 Error: JAVA_HOME is not set and could not be found.

問題: 如果你明明安裝配置了 JAVA_HOME 卻還是報錯 如果遇到 Error: JAVA_HOME is not set and could not be found. 的錯誤,而你明

hadoop平臺搭建(4)--分散式配置及執行

摘要:本文主要講述Linux環境下搭建hadoop平臺過程中,基於hadoop單機模式執行正確的基礎上,配置hadoop的偽分散式模式,並在配置完畢的基礎上執行hadoop的偽分散式例項。 環境說明:文章延續hadoop平臺搭建(3)中的步驟,因為只涉及had

[Hadoop]Hadoop+HBase 分散式安裝配置

(一)hadoop偽分散式的配置:        這個也可以參考《hadoop權威指南》上面寫的很全面,這裡再說一遍:   我的機器配置環境:        OS:Ubuntu10.10  ,hadoop版本:hadoop-0.20.2(下載網址: http://apache.etoak.com//

基於分散式hadoop搭建完全分散式

上篇部落格中,我們搭建了單機版和偽分散式版的hadoop。但是在真正的開發中都是用的完全分散式hadoop環境。 因此今天我們就來搭建一下完全分散式hadoop環境。 前提:有四臺解壓了hadoop和javajdk,且其中一臺作為namenode需要已經搭建成了偽分散式,其他三臺作為data

linux搭建單機版和分散式hadoop

前提:我使用的window作業系統,然後下載的VMware建立虛擬機器,然後在xshell中進行操作,並使用filezilla進行檔案的上傳。這些可以自行百度搜索下載。 單機版hadoop環境搭建 首先我們用VMware建立一個新的虛擬機器。建立過程不在細說了。 建立完成後,user

Linux下安裝分散式hadoop,防火牆的關閉

.修改linux ip  可以命令修改:vim /etc/sysconfig/network-scripts/ifcfg-eth0  最後這引數是不確定的 然後如下   將ONBOOT 改為yes 然後重啟 reboot 修改主機名

阿里雲伺服器分散式hadoop安裝

CentOS 7.3 64位 jdk 1.8.0_40 hadoop 2.6.5 1、在伺服器上安裝jdk 下載jdk-8u40-linux-x64.gz,解壓後配置Java環境變數 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_40

【大資料】安裝分散式Hadoop叢集

壓縮包: eclipse-jee-photon-R-linux-gtk-x86_64.tar.gz hadoop-2.9.1.tar.gz jdk-10.0.1_linux-x64_bin.tar.gz 配置主機名和網路 配置主機名: #hostnamect

Centos安裝單節點分散式Hadoop

注意:儘量參考官方文件:https://hadoop.apache.org/ 1、上傳壓縮包到伺服器並解壓 2、刪除解壓中share中無用文件 3、配置/etc/hadoop中的檔案 1、etc/hadoop/hadoop-env.sh: 修改export JAVA_HOME

虛擬機器中搭建分散式Hadoop,步驟詳解

本人安裝的版本試Hadoop2.4.1版本。首先上傳hadoop的安裝包到伺服器上去/home/hadoop/1.解壓Hadoop到指定的檔案下,我解壓的目錄在主目錄下新建的app檔案內$ tar -zxvf hadoop2.4.1.tar.gz -C app/2、配置Had

Storm分散式安裝配置

storm安裝配置前的準備工作:1.安裝Zookeeper。                                            2.上傳apache-storm-1.0.3.tar.gz安裝包到linux系統目錄下,我的是/tools(WinScp上傳)一

Spark2.0.1分散式安裝配置

前言.Spark簡介和hadoop的區別 Spark 是一種與 Hadoop 相似的開源叢集計算環境,但是兩者之間還存在一些不同之處,Spark 啟用了記憶體分佈資料集,除了能夠提供互動式查詢外,它還可以優化迭代工作負載。 1.架構不同。 Hadoop是對

HBase單機/分散式安裝/配置筆記

一、單機模式安裝 在官網下載hbase 解壓到任一目錄下 修改hbase配置檔案 修改conf目錄下hbase-env.sh:設定JAVA_HOME環境變數 修改conf目錄下hbase-

最新版hadoop2.7.1單機版與分散式安裝配置

前提:熟悉Linux系統操作,掌握基本的Linux命令 注意:安裝路徑中不能有任何中文字元和空格! 我安裝的是ubuntu14,使用者名稱是ubuntu,機器名是ubuntu,hadoop的版本是hadoop-2.7.1.tar.gz 一、在Ubuntu下建立hadoop

Spark之分散式搭建、分散式Hadoop、Hive安裝

開發十年,就只剩下這套架構體系了! >>>   

7.Hadoop的學習(Hadoop配置分散式的搭建)-3(啟動守護程序))

1.經過前面的兩節,我們就可以使用HDFS檔案系統了 2.首先要對檔案系統進行格式化:    執行格式化的命令:   hadoop namenode -format 3. 啟動守護程序   進入到     

大資料之Hadoop學習(環境配置)——Hadoop分散式叢集搭建

title: Hadoop偽分散式叢集搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大資料 點選檢視我的部落格: Josonlee’s Blog 文章目錄 前言準備 偽分

Centos7下配置Hadoop分散式環境

Centos 版本:7 Hadoop版本:2.7.4 Java版本:1.8 一、安裝JDK 官網下載jdk 1.8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.

Hadoop安裝教程_單機/分散式配置_CentOS6.4/Hadoop2.6.0

 2015-12-17 (updated: 2017-03-02) 本教程適合於在 CentOS 6.x 系統中安裝原生 Hadoop 2,適用於Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要參考了官方安裝教程,步驟詳細,輔以適當說明,相信按照步驟來,都