mac安裝hadoop偽分散式
目錄
一、 下載jdk
二、 配置hadoop
三、 配置ssh,無密碼登入
四、 啟動hadoop
五、 環境配置
java version "1.8.0"
Java(TM) SE Runtime Environment (build 1.8.0-b132)
Java HotSpot(TM) 64-Bit Server VM (build 25.0-b70, mixed mode)
二. 配置hadoop
下載hadoop,自己可到官網下載穩定版本,本次搭建用的是hadoop-2.6.0
配置hadoop 裡面hadoop-2.6.0/etc/hadoop資料夾四個檔案(hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml)
下載完hadoop之後,把它解壓到你想存放的資料夾,然後進入hadoop的etc/hadoop目錄
1. 配置hadoop-env.sh
修改為:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home
export HADOOP_HEAPSIZE=2000
export HADOOP_OPTS=-server
即去掉前面的解釋符#,mac的jdk安裝在根目錄Libray資料夾下面。
2. 配置core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value >file:/Users/duwei/software/hadoop-2.6.0/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
</property>
</configuration>
3.配置mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
4.配置hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/Users/duwei/software/hadoop-2.6.0/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/Users/duwei/software/hadoop-2.6.0/hdfs/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
三. 配置ssh,無密碼登入
mac上已經ssh了,在終端輸入ssh-keygen -t rsa命令,碰到需要輸入密碼的直接按enter健即可。出現如下成功
• Enter passphrase (empty for no passphrase):
• Enter same passphrase again:
• Your identification has been saved in /Users/jia/.ssh/id_rsa.
• Your public key has been saved in /Users/jia/.ssh/id_rsa.pub.
• The key fingerprint is:
• d4:85:aa:83:ae:db:50:48:0c:5b:dd:80:bb:fa:26:a7 jia@JIAS-MacBook-Pro.local
• The key's randomart image is:
• +--[ RSA 2048]----+
• |. .o.o .. |
• | =. . . ... |
• |. o. ... |
• | ... .. |
• | .... .S |
• | ... o |
• | ... . |
• |o oo. |
• |E*+o. |
• +-----------------+
在終端輸入cd ~進入使用者目錄,再輸入cd .ssh目錄,輸入命令
cp id_rsa.pub authorized_keys
四. 啟動hadoop
1. 進入hadoop資料夾,用如下命令格式化
cd bin
./hadoop namenode –format
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = JIAS-MacBook-Pro.local/192.168.1.3
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.20.2
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
Re-format filesystem in /tmp/hadoop-jia/dfs/name ? (Y or N) Y
14/07/14 13:55:17 INFO namenode.FSNamesystem: fsOwner=jia,staff,everyone,localaccounts,_appserverusr,admin,_appserveradm,_lpadmin,com.apple.sharepoint.group.1,_appstore,_lpoperator,_developer,com.apple.access_screensharing,com.apple.access_ssh
14/07/14 13:55:17 INFO namenode.FSNamesystem: supergroup=supergroup
14/07/14 13:55:17 INFO namenode.FSNamesystem: isPermissionEnabled=true
14/07/14 13:55:17 INFO common.Storage: Image file of size 93 saved in 0 seconds.
14/07/14 13:55:17 INFO common.Storage: Storage directory /tmp/hadoop-jia/dfs/name has been successfully formatted.
14/07/14 13:55:17 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at JIAS-MacBook-Pro.local/192.168.1.3
************************************************************/
2.啟動hadoop守護程序
bin/start-all.sh
3.停止hadoop守護程序
bin/stop-all.sh
五. 環境配置
vi .bash_profile
export JAVA_HOME=$(/usr/libexec/java_home -v 1.7)
export HADOOP_HOME=/Users/duwei/software/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
用如下命令使其生效
source ~/.bash_profile
相關推薦
mac安裝hadoop偽分散式
目錄 一、 下載jdk 二、 配置hadoop 三、 配置ssh,無密碼登入 四、 啟動hadoop 五、 環境配置 java version "1.8.0" Java(TM) SE Runtime Environment (build 1.
linux下安裝hadoop偽分散式叢集
1. 在虛擬機器上安裝了centos7, 下載hadoop。http://hadoop.apache.org/releases.html 這裡選擇2.7版本而不是3.0版本 不選3.0版本的理由,檢視版本更新日誌
安裝Hadoop偽分散式踩過的坑
折騰了好幾天的問題,終於解決了。雖然這次遇到的問題沒在網路上找到答案,不過,解決問題的過程或多或少受到了網上一些答案的啟發。下面我將分享自己遇到的問題,並提供解決方法。 (一)、相關資料 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html #官
Ubuntu16.04 安裝hadoop偽分散式1
最近要做畢設了,題目嘛應該用的到hadoop,以前上課都是用虛擬機器搭建Master+1slave,總感覺用的不爽,於是多方借鑑搭建了偽分散式。 中間也遇到了很多問題,於是趁現在比較閒,記錄下。 0.環境 本次使用 Ubuntu 16.04 64位 作為系統環境,安
mac安裝hbase偽分散式
目錄 一、 HBASE簡介 二、 HBASE安裝 三、 啟動HBASE 四、 進入SHELL模式 一. hbase簡介 HBase是Hadoop的資料庫,而Hive資料庫的管理工具,HBase具有分散式,可擴充套件及面向列儲存的特點(基於
Centos7安裝Hadoop-- 偽分散式配置
1.安裝jdk8 2.配置免密登陸 2.安裝hadoop (1)下載Hadoop wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz (2)解壓 tar
Mac 安裝Hadoop-2.6.0-cdh5.7.0偽分散式
下載Hadoop-2.6.0-cdh5.7.0 單機下載自己需要的版本,我下載的是hadoop-2.6.0-cdh5.7.0 一. 解壓 tar -zxvf hadoop-2.6.0-cdh5.7.0.
Hadoop偽分散式環境搭建之Linux作業系統安裝
Hadoop偽分散式環境搭建之Linux作業系統安裝 本篇文章是接上一篇《超詳細hadoop虛擬機器安裝教程(附圖文步驟)》,上一篇有人問怎麼沒寫hadoop安裝。在文章開頭就已經說明了,hadoop安裝會在後面寫到,因為整個系列的文章涉及到每一步的截圖,導致文章整體很長。會分別先對虛擬機器
hadoop偽分散式元件安裝
一、版本建議 Centos V7.5 Java V1.8 Hadoop V2.7.6 Hive V2.3.3
Hadoop偽分散式的安裝!!
軟江的安裝目錄: /opt/modules/ 安裝前的準備 1、關閉和禁用SELinux # systemctl stop firewalld # service iptables stop # vim /etc/sysconfig/selinux 設定SELIN
Hadoop-2.9.2單機版安裝(偽分散式模式)
一、環境 硬體:虛擬機器VMware、win7 作業系統:Centos-7 64位 主機名: hadoopServerOne 安裝使用者:root軟體:jdk1.8.0_181、Hadoop-2.9.2 二、安裝jdk 1.建立hadoop目錄,並賦許可權chmod 777 hadoop2.下載jdk-
Hadoop安裝之偽分散式搭建
本文介紹apache hadoop的第二種搭建模式:偽分散式。關於偽分散式的搭建基於上篇《Hadoop安裝之standAlone單機》文章中standAlone搭建的基礎之上進行擴建。 安裝伺服器規劃 伺服器IP 192.168.254.1
hadoop 偽分散式安裝
0. 關閉防火牆 重啟後失效 service iptables start ;#立即開啟防火牆,但是重啟後失效。 service iptables stop ;#立即關閉防火牆,但是重啟後失效。 重啟後生效 chkconfig iptables on ;#開啟防火牆,重啟後生效 chkconfig
Hadoop偽分散式模式安裝
環境資訊作業系統:Ubuntu 17.04 64bit安裝步驟1. 安裝配置JDK1.1 複製到/opt/bigdata/目錄下,解壓cp ~/Downloads/jdk-8u161-linux-x64.tar.gz /opt/bigdata/ cd /opt/bigdata
【Hadoop】Hadoop 2.7.6安裝_偽分散式叢集
本篇主要演示在Linux上安裝單節點Hadoop模式,以及偽分散式Hadoop模式。一 安裝環境作業系統:Oracle Linux Server release 6.5;Java版本:java-1.7.0-openjdk-1.7.0.45;Hadoop版本:hadoop-2.
hadoop 1.2.1 安裝步驟 偽分散式
最近在系統的學習hadoop 課程第一步是安裝hadoop1.x,具體安裝步驟如下: 一、系統安裝 本文使用centos6.5安裝,具體安裝步驟省略 二、jdk安裝 下載jdk1.7.0_51解壓,在環境中 設定環境變數: vi /etc/profile,新增如下行: export JAVA_HOME=/u
Mac環境下安裝Hadoop偽分佈模式
Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。這裡講述在Mac上安裝Hadoop偽分佈模式的過程。 環境:Mac OS X 10.11 + Hadoop-2.6.5 1 下載 官網下載Hadoop(下載連結),選擇binary檔案下載,
java大資料最全課程學習筆記(1)--Hadoop簡介和安裝及偽分散式
> 目前[CSDN](https://blog.csdn.net/weixin_42208775),[部落格園](https://home.cnblogs.com/u/gitBook/),[簡書](https://www.jianshu.com/u/da41700fde04)同步發表中,更多精彩歡迎訪問
搭建Hadoop偽分散式環境(筆記)
軟硬體環境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 關於本教程的說明 雲實驗室雲主機自動使用 root 賬戶登入系統,因此本教程中所有的操作都是以 root 使用者來執行的。若要在自己的雲主機上進行本教程的實驗,為了系統安全,建議
搭建hadoop偽分散式叢集環境過程中遇見的問題總結
1、網路配置問題: 在centos7中配置網路環境後,本機(win10系統)與虛擬機器centos7網路不通(本機可以ping通虛擬機器,但是虛擬機器ping不通本機); 解決方式: 方式1:檢視本機win10系統的防火牆是否關閉,若沒有,直接關閉win10系統的防火牆即可; 方式2