1. 程式人生 > >mac安裝hadoop偽分散式

mac安裝hadoop偽分散式

目錄
一、 下載jdk
二、 配置hadoop
三、 配置ssh,無密碼登入
四、 啟動hadoop
五、 環境配置

java version "1.8.0"
Java(TM) SE Runtime Environment (build 1.8.0-b132)
Java HotSpot(TM) 64-Bit Server VM (build 25.0-b70, mixed mode)

二. 配置hadoop
下載hadoop,自己可到官網下載穩定版本,本次搭建用的是hadoop-2.6.0
配置hadoop 裡面hadoop-2.6.0/etc/hadoop資料夾四個檔案(hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml)
下載完hadoop之後,把它解壓到你想存放的資料夾,然後進入hadoop的etc/hadoop目錄
1. 配置hadoop-env.sh
修改為:

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home
export HADOOP_HEAPSIZE=2000
export HADOOP_OPTS=-server

即去掉前面的解釋符#,mac的jdk安裝在根目錄Libray資料夾下面。
2. 配置core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value
>
file:/Users/duwei/software/hadoop-2.6.0/tmp</value> </property> <property> <name>fs.default.name</name> <value>hdfs://hadoop0:9000</value> </property> </configuration>

3.配置mapred-site.xml

<configuration>
    <property>
<name>mapred.job.tracker</name> <value>hdfs://localhost:9001</value> </property> </configuration>

4.配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/Users/duwei/software/hadoop-2.6.0/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/Users/duwei/software/hadoop-2.6.0/hdfs/datanode</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

三. 配置ssh,無密碼登入
mac上已經ssh了,在終端輸入ssh-keygen -t rsa命令,碰到需要輸入密碼的直接按enter健即可。出現如下成功

Enter passphrase (empty for no passphrase):Enter same passphrase again:Your identification has been saved in /Users/jia/.ssh/id_rsa.
•   Your public key has been saved in /Users/jia/.ssh/id_rsa.pub.
•   The key fingerprint is:d4:85:aa:83:ae:db:50:48:0c:5b:dd:80:bb:fa:26:a7 jia@JIAS-MacBook-Pro.local
•   The key's randomart image is:
•   +--[ RSA 2048]----+
•   |. .o.o     ..    |
•   | =. . .  ...     |
•   |. o.    ...      |
•   | ...   ..        |
•   |  .... .S        |
•   |  ... o          |
•   | ...   .         |
•   |o oo.            |
•   |E*+o.            |
•   +-----------------+

在終端輸入cd ~進入使用者目錄,再輸入cd .ssh目錄,輸入命令

cp id_rsa.pub authorized_keys

四. 啟動hadoop
1. 進入hadoop資料夾,用如下命令格式化

cd bin
./hadoop namenode –format

/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = JIAS-MacBook-Pro.local/192.168.1.3
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 0.20.2
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
Re-format filesystem in /tmp/hadoop-jia/dfs/name ? (Y or N) Y
14/07/14 13:55:17 INFO namenode.FSNamesystem: fsOwner=jia,staff,everyone,localaccounts,_appserverusr,admin,_appserveradm,_lpadmin,com.apple.sharepoint.group.1,_appstore,_lpoperator,_developer,com.apple.access_screensharing,com.apple.access_ssh
14/07/14 13:55:17 INFO namenode.FSNamesystem: supergroup=supergroup
14/07/14 13:55:17 INFO namenode.FSNamesystem: isPermissionEnabled=true
14/07/14 13:55:17 INFO common.Storage: Image file of size 93 saved in 0 seconds.
14/07/14 13:55:17 INFO common.Storage: Storage directory /tmp/hadoop-jia/dfs/name has been successfully formatted.
14/07/14 13:55:17 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at JIAS-MacBook-Pro.local/192.168.1.3
************************************************************/

2.啟動hadoop守護程序

bin/start-all.sh

3.停止hadoop守護程序

bin/stop-all.sh

五. 環境配置

vi .bash_profile
export JAVA_HOME=$(/usr/libexec/java_home -v 1.7)
export HADOOP_HOME=/Users/duwei/software/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin

用如下命令使其生效

source ~/.bash_profile

相關推薦

mac安裝hadoop分散式

目錄 一、 下載jdk 二、 配置hadoop 三、 配置ssh,無密碼登入 四、 啟動hadoop 五、 環境配置 java version "1.8.0" Java(TM) SE Runtime Environment (build 1.

linux下安裝hadoop分散式叢集

1.    在虛擬機器上安裝了centos7, 下載hadoop。http://hadoop.apache.org/releases.html  這裡選擇2.7版本而不是3.0版本 不選3.0版本的理由,檢視版本更新日誌

安裝Hadoop分散式踩過的坑

折騰了好幾天的問題,終於解決了。雖然這次遇到的問題沒在網路上找到答案,不過,解決問題的過程或多或少受到了網上一些答案的啟發。下面我將分享自己遇到的問題,並提供解決方法。 (一)、相關資料 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html  #官

Ubuntu16.04 安裝hadoop分散式1

最近要做畢設了,題目嘛應該用的到hadoop,以前上課都是用虛擬機器搭建Master+1slave,總感覺用的不爽,於是多方借鑑搭建了偽分散式。 中間也遇到了很多問題,於是趁現在比較閒,記錄下。 0.環境 本次使用 Ubuntu 16.04 64位 作為系統環境,安

mac安裝hbase分散式

目錄 一、 HBASE簡介 二、 HBASE安裝 三、 啟動HBASE 四、 進入SHELL模式 一. hbase簡介 HBase是Hadoop的資料庫,而Hive資料庫的管理工具,HBase具有分散式,可擴充套件及面向列儲存的特點(基於

Centos7安裝Hadoop-- 分散式配置

1.安裝jdk8 2.配置免密登陸 2.安裝hadoop (1)下載Hadoop wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz (2)解壓 tar

Mac 安裝Hadoop-2.6.0-cdh5.7.0分散式

下載Hadoop-2.6.0-cdh5.7.0 單機下載自己需要的版本,我下載的是hadoop-2.6.0-cdh5.7.0 一. 解壓 tar -zxvf hadoop-2.6.0-cdh5.7.0.

Hadoop分散式環境搭建之Linux作業系統安裝

Hadoop偽分散式環境搭建之Linux作業系統安裝 本篇文章是接上一篇《超詳細hadoop虛擬機器安裝教程(附圖文步驟)》,上一篇有人問怎麼沒寫hadoop安裝。在文章開頭就已經說明了,hadoop安裝會在後面寫到,因為整個系列的文章涉及到每一步的截圖,導致文章整體很長。會分別先對虛擬機器

hadoop分散式元件安裝

一、版本建議 Centos V7.5 Java V1.8 Hadoop V2.7.6 Hive V2.3.3

Hadoop分散式安裝!!

軟江的安裝目錄: /opt/modules/ 安裝前的準備 1、關閉和禁用SELinux # systemctl stop firewalld # service iptables stop # vim /etc/sysconfig/selinux 設定SELIN

Hadoop-2.9.2單機版安裝分散式模式)

一、環境 硬體:虛擬機器VMware、win7 作業系統:Centos-7 64位 主機名: hadoopServerOne 安裝使用者:root軟體:jdk1.8.0_181、Hadoop-2.9.2 二、安裝jdk 1.建立hadoop目錄,並賦許可權chmod 777 hadoop2.下載jdk-

Hadoop安裝分散式搭建

本文介紹apache  hadoop的第二種搭建模式:偽分散式。關於偽分散式的搭建基於上篇《Hadoop安裝之standAlone單機》文章中standAlone搭建的基礎之上進行擴建。 安裝伺服器規劃 伺服器IP 192.168.254.1

hadoop 分散式安裝

0. 關閉防火牆 重啟後失效 service iptables start ;#立即開啟防火牆,但是重啟後失效。 service iptables stop ;#立即關閉防火牆,但是重啟後失效。 重啟後生效 chkconfig iptables on ;#開啟防火牆,重啟後生效 chkconfig

Hadoop分散式模式安裝

環境資訊作業系統:Ubuntu 17.04 64bit安裝步驟1. 安裝配置JDK1.1 複製到/opt/bigdata/目錄下,解壓cp ~/Downloads/jdk-8u161-linux-x64.tar.gz /opt/bigdata/ cd /opt/bigdata

HadoopHadoop 2.7.6安裝_分散式叢集

本篇主要演示在Linux上安裝單節點Hadoop模式,以及偽分散式Hadoop模式。一 安裝環境作業系統:Oracle Linux Server release 6.5;Java版本:java-1.7.0-openjdk-1.7.0.45;Hadoop版本:hadoop-2.

hadoop 1.2.1 安裝步驟 分散式

最近在系統的學習hadoop 課程第一步是安裝hadoop1.x,具體安裝步驟如下: 一、系統安裝 本文使用centos6.5安裝,具體安裝步驟省略 二、jdk安裝 下載jdk1.7.0_51解壓,在環境中 設定環境變數: vi /etc/profile,新增如下行: export JAVA_HOME=/u

Mac環境下安裝Hadoop分佈模式

Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。這裡講述在Mac上安裝Hadoop偽分佈模式的過程。 環境:Mac OS X 10.11 + Hadoop-2.6.5 1 下載 官網下載Hadoop(下載連結),選擇binary檔案下載,

java大資料最全課程學習筆記(1)--Hadoop簡介和安裝分散式

> 目前[CSDN](https://blog.csdn.net/weixin_42208775),[部落格園](https://home.cnblogs.com/u/gitBook/),[簡書](https://www.jianshu.com/u/da41700fde04)同步發表中,更多精彩歡迎訪問

搭建Hadoop分散式環境(筆記)

軟硬體環境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 關於本教程的說明 雲實驗室雲主機自動使用 root 賬戶登入系統,因此本教程中所有的操作都是以 root 使用者來執行的。若要在自己的雲主機上進行本教程的實驗,為了系統安全,建議

搭建hadoop分散式叢集環境過程中遇見的問題總結

1、網路配置問題: 在centos7中配置網路環境後,本機(win10系統)與虛擬機器centos7網路不通(本機可以ping通虛擬機器,但是虛擬機器ping不通本機); 解決方式: 方式1:檢視本機win10系統的防火牆是否關閉,若沒有,直接關閉win10系統的防火牆即可; 方式2