偽分散式的hadoop配置
關於hadoop的發展和歷史以及簡介,這樣的廢話就不說,簡而言之就一句話,開源的分散式雲端計算。
解壓即可。
先對偽分散式的概念進行說明一下,整個環境的配置是基於linux的,目前鄙人使用的是redhat6企業版。
可以把偽分散式的Hadoop看做只有一個節點的叢集,在這個叢集中,這個節點既是Master,也是Slave;既是NameNode,也是DataNode;既是JobTracker,也是TaskTracker。
安裝和配置Hadoop偽分散式有兩個必要的條件,一個是JDK的環境,一個是linux SSH環境。其中SSH環境,最好配置為免密碼登陸。(笑話:此處的SSH不是java裡面的SSH框架,如果你是這麼認為,我只能跟你說一句話:你很farmer。
下面開始來配置Hadoop:
1、進入conf資料夾,修改Hadoop-evn.sh,指定JDK
export JAVA_HOME=/opt/jdk1.6.0_43
2、配置HDFS的(Hadoop分散式檔案系統)的地址和埠號
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3、HDFS的預設備份方式是3,單機修改為1
conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4、配置JobTracker的地址及埠,MapReduce的配置
conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
接下來就是啟動Hadoop,先格式化HDFS。進入Hadoop資料夾,輸入命令:bin/Hadoop namenode -format
啟動Hadoop的命令:bin/start-all.sh
如果此處你沒有配置SSH免密碼登陸,需要你輸入多次的使用者密碼。
如果啟動成功,你可以在瀏覽器下分別輸入:
http://localhost:50030 為MapReduce的web頁面
http://localhost:50070 為HDFS的web頁面
如果都能檢視,說明配置成功。
相關推薦
CentOS7環境下偽分散式安裝配置hadoop
(一) 設定靜態IP地址 cd /etc/sysconfig/network-scripts vim ifcfg-ens33 修改IPADDR,NETMASK,GATEWAY為對應的值 修改BOOTPROTO為none 儲存並退出 重啟網絡卡 servi
Hadoop 2.7 偽分散式安裝配置 Error: JAVA_HOME is not set and could not be found.
問題: 如果你明明安裝配置了 JAVA_HOME 卻還是報錯 如果遇到 Error: JAVA_HOME is not set and could not be found. 的錯誤,而你明
hadoop平臺搭建(4)--偽分散式的配置及執行
摘要:本文主要講述Linux環境下搭建hadoop平臺過程中,基於hadoop單機模式執行正確的基礎上,配置hadoop的偽分散式模式,並在配置完畢的基礎上執行hadoop的偽分散式例項。 環境說明:文章延續hadoop平臺搭建(3)中的步驟,因為只涉及had
[Hadoop]Hadoop+HBase 偽分散式安裝配置
(一)hadoop偽分散式的配置: 這個也可以參考《hadoop權威指南》上面寫的很全面,這裡再說一遍: 我的機器配置環境: OS:Ubuntu10.10 ,hadoop版本:hadoop-0.20.2(下載網址: http://apache.etoak.com//
基於偽分散式hadoop搭建完全分散式
上篇部落格中,我們搭建了單機版和偽分散式版的hadoop。但是在真正的開發中都是用的完全分散式hadoop環境。 因此今天我們就來搭建一下完全分散式hadoop環境。 前提:有四臺解壓了hadoop和javajdk,且其中一臺作為namenode需要已經搭建成了偽分散式,其他三臺作為data
linux搭建單機版和偽分散式hadoop
前提:我使用的window作業系統,然後下載的VMware建立虛擬機器,然後在xshell中進行操作,並使用filezilla進行檔案的上傳。這些可以自行百度搜索下載。 單機版hadoop環境搭建 首先我們用VMware建立一個新的虛擬機器。建立過程不在細說了。 建立完成後,user
Linux下安裝偽分散式hadoop,防火牆的關閉
.修改linux ip 可以命令修改:vim /etc/sysconfig/network-scripts/ifcfg-eth0 最後這引數是不確定的 然後如下 將ONBOOT 改為yes 然後重啟 reboot 修改主機名
阿里雲伺服器偽分散式hadoop安裝
CentOS 7.3 64位 jdk 1.8.0_40 hadoop 2.6.5 1、在伺服器上安裝jdk 下載jdk-8u40-linux-x64.gz,解壓後配置Java環境變數 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_40
【大資料】安裝偽分散式Hadoop叢集
壓縮包: eclipse-jee-photon-R-linux-gtk-x86_64.tar.gz hadoop-2.9.1.tar.gz jdk-10.0.1_linux-x64_bin.tar.gz 配置主機名和網路 配置主機名: #hostnamect
Centos安裝單節點偽分散式Hadoop
注意:儘量參考官方文件:https://hadoop.apache.org/ 1、上傳壓縮包到伺服器並解壓 2、刪除解壓中share中無用文件 3、配置/etc/hadoop中的檔案 1、etc/hadoop/hadoop-env.sh: 修改export JAVA_HOME
虛擬機器中搭建偽分散式Hadoop,步驟詳解
本人安裝的版本試Hadoop2.4.1版本。首先上傳hadoop的安裝包到伺服器上去/home/hadoop/1.解壓Hadoop到指定的檔案下,我解壓的目錄在主目錄下新建的app檔案內$ tar -zxvf hadoop2.4.1.tar.gz -C app/2、配置Had
Storm偽分散式安裝配置
storm安裝配置前的準備工作:1.安裝Zookeeper。 2.上傳apache-storm-1.0.3.tar.gz安裝包到linux系統目錄下,我的是/tools(WinScp上傳)一
Spark2.0.1偽分散式安裝配置
前言.Spark簡介和hadoop的區別 Spark 是一種與 Hadoop 相似的開源叢集計算環境,但是兩者之間還存在一些不同之處,Spark 啟用了記憶體分佈資料集,除了能夠提供互動式查詢外,它還可以優化迭代工作負載。 1.架構不同。 Hadoop是對
HBase單機/偽分散式安裝/配置筆記
一、單機模式安裝 在官網下載hbase 解壓到任一目錄下 修改hbase配置檔案 修改conf目錄下hbase-env.sh:設定JAVA_HOME環境變數 修改conf目錄下hbase-
最新版hadoop2.7.1單機版與偽分散式安裝配置
前提:熟悉Linux系統操作,掌握基本的Linux命令 注意:安裝路徑中不能有任何中文字元和空格! 我安裝的是ubuntu14,使用者名稱是ubuntu,機器名是ubuntu,hadoop的版本是hadoop-2.7.1.tar.gz 一、在Ubuntu下建立hadoop
Spark之偽分散式搭建、偽分散式Hadoop、Hive安裝
開發十年,就只剩下這套架構體系了! >>>
7.Hadoop的學習(Hadoop的配置(偽分散式的搭建)-3(啟動守護程序))
1.經過前面的兩節,我們就可以使用HDFS檔案系統了 2.首先要對檔案系統進行格式化: 執行格式化的命令: hadoop namenode -format 3. 啟動守護程序 進入到  
大資料之Hadoop學習(環境配置)——Hadoop偽分散式叢集搭建
title: Hadoop偽分散式叢集搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大資料 點選檢視我的部落格: Josonlee’s Blog 文章目錄 前言準備 偽分
Centos7下配置Hadoop偽分散式環境
Centos 版本:7 Hadoop版本:2.7.4 Java版本:1.8 一、安裝JDK 官網下載jdk 1.8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.
Hadoop安裝教程_單機/偽分散式配置_CentOS6.4/Hadoop2.6.0
2015-12-17 (updated: 2017-03-02) 本教程適合於在 CentOS 6.x 系統中安裝原生 Hadoop 2,適用於Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要參考了官方安裝教程,步驟詳細,輔以適當說明,相信按照步驟來,都