Hadoop2.7.3的安裝詳細過程(偽分散式)
1.安裝java
2.設定ssh免密碼登入
3.安裝Hadoop
1.安裝java:
rpm -ivh jdk-8u101-linux-i586.rpm
然後設定環境變數
vi /etc/profile
在最末端新增:
#set java env
JAVA_HOME=/usr/java/jdk1.8.0_101
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
最後,再在終端輸入java -version測試一下,到此,java便安裝結束了。
2.設定ssh免密碼登入
ssh-keygen -t rsa
這將會產生一個公鑰和私鑰
ssh-copy-id -i slaver1
連續按幾次enter直至結束
再來一次
ssh-copy-id -i slaver2
3.安裝hadoop
tar -xzvf hadoop-2.7.3.tar.gz
cd進入解壓後的資料夾
首先,先修改hadoop下面etc/hadoop裡面的5個檔案:
cd /usr/hadoop/hadoop-2.7.3/etc/hadoop
1.core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/tmp</value >
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
2.yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<!-- reducer獲取資料的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<value>org.apache.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
3.mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
4.hdfs-site.xml
<configuration>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/hadoop/hadoop-2.7.3/hdf/data</value>
<final>true</final>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/hadoop/hadoop-2.7.3/hdf/name</value>
<final>true</final>
</property>
</configuration>
5.hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_101
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
6.yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_101
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
hadoop.env.sh和yarn-env.sh這裡的後三行網上很多人都沒有寫,聽說64位的機器才需要加上,但是我的是32位的,沒有加上去仍然不行。。
然後把Hadoop資料夾發到其他主機上
scp -r /usr/hadoop slaver1:/usr/hadoop
scp -r /usr/hadoop slaver1:/usr/hadoop
在最後加上環境變數,所有的主機都要設定。
vi /etc/profile
#set hadoop env
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_LOG_DIR=/usr/hadoop/hadoop-2.7.3/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR
最後,啟動hadoop叢集
./sbin/start-all.sh
在終端輸入
[[email protected] ~]# jps
28597 NameNode
28934 ResourceManager
29800 Jps
28792 SecondaryNameNode
[[email protected] hadoop-2.7.3]# ./bin/hdfs dfsadmin -report
16/10/29 10:02:28 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
Configured Capacity: 97575411712 (90.87 GB)
Present Capacity: 79984197632 (74.49 GB)
DFS Remaining: 79984140288 (74.49 GB)
DFS Used: 57344 (56 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Live datanodes (2):
Name: 192.168.183.84:50010 (slaver1)
Hostname: localhost.localdomain
Decommission Status : Normal
Configured Capacity: 49795620864 (46.38 GB)
DFS Used: 28672 (28 KB)
Non DFS Used: 8847638528 (8.24 GB)
DFS Remaining: 40947953664 (38.14 GB)
DFS Used%: 0.00%
DFS Remaining%: 82.23%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sat Oct 29 10:02:28 EDT 2016
Name: 192.168.183.51:50010 (slaver2)
Hostname: localhost.localdomain
Decommission Status : Normal
Configured Capacity: 47779790848 (44.50 GB)
DFS Used: 28672 (28 KB)
Non DFS Used: 8743575552 (8.14 GB)
DFS Remaining: 39036186624 (36.36 GB)
DFS Used%: 0.00%
DFS Remaining%: 81.70%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sat Oct 29 10:02:29 EDT 2016
到此,Hadoop安裝成功。
相關推薦
Hadoop2.7.3的安裝詳細過程(偽分散式)
1.安裝java 2.設定ssh免密碼登入 3.安裝Hadoop 1.安裝java: rpm -ivh jdk-8u101-linux-i586.rpm 然後設定環境變數 vi /etc/profile 在最末端新增: #set java
ubuntu16+Hadoop2.7.3環境搭建(偽分散式)
Hadoop 環境的搭建 一、安裝VMWare 虛擬機器 虛擬機器版本VMware12,考慮到啟動速度,裝在固態硬碟中。 二、安裝Linux 安裝版本:ubuntu-16.04.1-server-amd64 此版本沒有圖形化介面,體積較小
Hadoop2.7.3+Spark2.1.0完全分散式叢集搭建過程
1.選取三臺伺服器(CentOS系統64位) 114.55.246.88 主節點 114.55.246.77 從節點 114.55.246.93 從節點 之後的操作如果是用普通使用者操作的話也必須知道root使用者的密碼,因為有些操作是得用root使用者操作。如
最新版hadoop2.7.1單機版與偽分散式安裝配置
前提:熟悉Linux系統操作,掌握基本的Linux命令 注意:安裝路徑中不能有任何中文字元和空格! 我安裝的是ubuntu14,使用者名稱是ubuntu,機器名是ubuntu,hadoop的版本是hadoop-2.7.1.tar.gz 一、在Ubuntu下建立hadoop
【原創 Spark動手實踐 1】Hadoop2.7.3安裝部署實際動手
dmi 遠程 nag proc host 一個 error img 連接 目錄: 第一部分:操作系統準備工作: 1. 安裝部署CentOS7.3 1611 2. CentOS7軟件安裝(net-tools, wget, vim等) 3. 更新CentOS
redhat linux系統7.2安裝詳細過程
安裝redhat linux系統7.2並詳述安裝過程 首先,在安裝之前有個安裝嚮導的步驟:典型—稍後安裝作業系統—Linux+RedHatEnterprise Linux7 64位—自定義存放位置—先分20G 然後設定一下,網路介面卡調成僅主機模式,使用ISO映象檔案見我們的Redhat
Spark之——Hadoop2.7.3+Spark2.1.0 完全分散式環境 搭建全過程
一、修改hosts檔案在主節點,就是第一臺主機的命令列下;vim /etc/hosts我的是三臺雲主機:在原檔案的基礎上加上;ip1 master worker0 namenode ip2 worker1 datanode1 ip3 worker2 datanode2其中的i
在VM虛擬機器上搭建Hadoop2.7.3+Spark2.1.0完全分散式叢集
1.選取三臺伺服器(CentOS系統64位) 114.55.246.88主節點 114.55.246.77 從節點 114.55.246.93 從節點 之後的操作如果是用普通使用者操作的話也必須知道root使用者的密碼,因為有些操作是得
MAC下hadoop2.7.3安裝
1、準備環境 作業系統:Mac OS X 10.11.6 JDK:1.8.0_111 Hadoop:2.7.3 2、配置ssh 首先確認能夠遠端登入 系統偏好設定-共享 在終端執行 ssh-keygen -t rsa 一路回車就行 會在~/.ss
Hadoop2.7.3搭建單機、偽分佈環境
1.下載jdk並安裝去官網下就可以了,下完之後把檔案移到/opt/Java下[email protected]:~/下載$ mv ./hadoop-2.7.2-src.tar.gz /opt/
【Hadoop】Hadoop2.7.3安裝Hive 2.1.0
第一步: 下載最新的hive,直接去apache 裡面找hive2.1.0下載就行。 第二步,解壓到伺服器 tar zxvf apache-hive-2.0.0-bin.tar.gz mv apache-hive-2.0.0-bin /hom
Hadoop安裝教程_偽分散式配置_CentOS7.x/Hadoop2.7.3
我只提醒下,這裡的坑。ssh登入時,切記用hadoop帳號登入,否則格式化的所有權不是hadoop,那麼無法啟動。 本教程適合於在 CentOS 6.x 系統中安裝原生 Hadoop 2,適用於Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要參
Hadoop2.7.3單機偽分散式環境搭建
Hadoop2.7.3單機偽分散式環境搭建 作者:家輝,日期:2018-07-10 CSDN部落格: http://blog.csdn.net/gobitan 說明:Hadoop測試環境經常搭建,這裡也做成一個模板並記錄下來。 基礎環境
基於CentOS6.5系統Hadoop2.7.3完全分散式叢集搭建詳細步驟
前言:本次搭建hadoop叢集使用虛擬機器克隆方式克隆slave節點,這樣做可以省去很多不必要的操作,來縮短我們的搭建時間。 一、所需硬體,軟體要求 使用 VMWare構建三臺虛擬機器模擬真實物理環境 作業系統:CentOS6.5 二、必備條件 hadoop搭建需
hadoop2.7.3完全分散式安裝-docker-hive1.2.1-hiveserver2-weave1.9.3
0.環境介紹: 1)ubuntu14.04 docker映象 地址:https://github.com/gaojunhao/ubuntu14.04 2)hadoop2.7.3 地址:http://www.apache.org/dyn/closer.cgi/hadoop/c
(學習筆記版)Hadoop入門(一):Hadoop2.7.3完全分布式集群安裝
min property per cal mon 分別是 master 修改 node 在這裏寫下安裝hadoop2.7.3版本的完全分布式的過程,因為剛開始學習hadoop不久,希望自己把學習的東西記錄下來,和大家一起分享,可能有錯誤的地方,還請大牛們批評指正,在我學習的
Centos7 安裝hadoop2.7.3和jdk1.8
配置 tin source 沒有 https prope font col 配置環境變量 下載好hadoop和jdk軟件包,傳到虛擬機上 第一步:安裝jdk並配置環境變量 解壓 tar -xvf 配置環境變量 vim /etc/profile #set ja
自制Hadoop偽分佈、叢集安裝詳細過程(vmware)
Hadoop單機版、偽分佈、叢集安裝教程推薦連結: http://dblab.xmu.edu.cn/blog/page/2/?s=Hadoop 注:vmware6.5及以上,執行命令基本相同,除了編輯檔案時“vi”指令替換為“vim”指令 一、下載安裝所需檔案  
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分散式叢集環境
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分散式叢集環境 一、環境說明 個人理解:zookeeper可以獨立搭建叢集,hbase本身不能獨立搭建叢集需要和hadoop和hdfs整合 叢集環境至少需要3個節點(也就是3臺伺服器裝置):1個Master,2
hadoop2.7.3在centos7上部署安裝(單機版)
hadoop2.7.3在centos7上部署安裝(單機版) (1)hadoop2.7.3下載 (前提:先安裝java環境) 下載地址:http://hadoop.apache.org/releases.html (注意是binary檔案,source那個是原始