hadoop叢集的安裝步驟和配置
hadoop是由java語言編寫的,首先我們肯定要在電腦中安裝jdk,配置好jdk的環境,接下來就是安裝hadoop叢集的步驟了,在安裝之前需要建立hadoop使用者組和使用者,另外我此時使用的是一主(master)三從(slave1、slave2、slave3)。
1、 建立hadoop組和hadoop使用者
[[email protected] ~]# groupadd hadoop
[[email protected] ~]# useradd -g hadoop hadoop
2、 上傳、解壓hadoop壓縮包和重名解壓後的目錄
切換到hadoop使用者:
[[email protected] ~]# su – hadoop
上傳hadoop安裝包:
解壓hadoop安裝包和重新命名解壓目錄:
[[email protected] ~]$ tar -zxvf hadoop-1.0.4.tar.gz
[[email protected] ~]$ mv hadoop-1.0.4 hadoop
3、 配置hadoop的的配置檔案
進入hadoop的conf目錄:
[[email protected] ~]$ cd hadoop [[email protected] hadoop]$ cd conf [[email protected] conf]$ [
[email protected] conf]$ ll 總用量 76 -rw-rw-r--. 1 hadoop hadoop 7457 10月 3 2012 capacity-scheduler.xml -rw-rw-r--. 1 hadoop hadoop 535 10月 3 2012 configuration.xsl -rw-rw-r--. 1 hadoop hadoop 178 10月 3 2012 core-site.xml -rw-rw-r--. 1 hadoop hadoop 327 10月 3 2012 fair-scheduler.xml -rw-rw-r--. 1 hadoop hadoop 2237 10月 3 2012 hadoop-env.sh -rw-rw-r--. 1 hadoop hadoop 1488 10月 3 2012 hadoop-metrics2.properties -rw-rw-r--. 1 hadoop hadoop 4644 10月 3 2012 hadoop-policy.xml -rw-rw-r--. 1 hadoop hadoop 178 10月 3 2012 hdfs-site.xml -rw-rw-r--. 1 hadoop hadoop 4441 10月 3 2012 log4j.properties -rw-rw-r--. 1 hadoop hadoop 2033 10月 3 2012 mapred-queue-acls.xml -rw-rw-r--. 1 hadoop hadoop 178 10月 3 2012 mapred-site.xml -rw-rw-r--. 1 hadoop hadoop 10 10月 3 2012 masters -rw-rw-r--. 1 hadoop hadoop 10 10月 3 2012 slaves -rw-rw-r--. 1 hadoop hadoop 1243 10月 3 2012 ssl-client.xml.example -rw-rw-r--. 1 hadoop hadoop 1195 10月 3 2012 ssl-server.xml.example -rw-rw-r--. 1 hadoop hadoop 382 10月 3 2012 taskcontroller.cfg
這裡的配置檔案有core-site.xml,hadoop-env.sh,hdfs-site.xml,mapred-site.xml,masters,slaves都需要修改,下面是這幾個配置檔案的內容:
core-site.xml配置檔案的內容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>#++++hdfs的預設路徑
<value>hdfs://master:9000</value>
</property>
</configuration>
hadoop-env.sh配置檔案最後面新增的內容:
export JAVA_HOME=/usr/jdk #++++jdk的環境變數++++#
hdfs-site.xml配置檔案的內容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>#++++hdfs的備份數
<value>3</value>
</property>
<property>
<name>dfs.name.dir</name> #++++namenode的檔案儲存路徑,包括edites、fsimage、fstime、VERSION
<value>/home/hadoop/hadoop/namenode/</value>
</property>
<property>
<name>dfs.data.dir</name> #++++datanode的儲存路徑,包含資料和資料的原資訊。
<value>/home/hadoop/hadoop/data/</value>
</property>
<property>
<name>hadoop.tmp.dir</name> #++++mapreduce計算的中間結果的臨時儲存資料夾
<value>/home/hadoop/hadoop/tmp/</value>
</property>
<property>
<name>dfs.permissions</name>#++++認證策略
<value>false</value>
</property>
</configuration>
mapred-site.xml配置檔案的內容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name> #++++jobtracker的ip和埠
<value>master:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name> #++++maptask的最大數
<value>2</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name> #++++reducetask的最大數
<value>2</value>
</property>
</configuration>
masters配置檔案的內容:
master
#SecondaryNameNode的位置,可以配置多個
slaves配置檔案的內容:
slave1#++++slave的ip或者域名
slave2
slave3
說明:這些配置檔案都是事先配置好的,只要上傳到conf目錄下,替換之前的檔案即可,採用這種方式是因為在linux命令列下直接開啟檔案在裡面輸入內容更容易錯並且不方便。這裡還有一點需要注意,上面配置檔案中存在的漢字是用於註釋的,實際上傳的檔案是沒有註釋的,因為不支援漢字。
上傳配置檔案過程:
4、 到這裡hadoop就安裝結束了,接下來就是將安裝完成的hadoop傳送到其他的虛擬機器中。
[[email protected] conf]$ scp -r /home/hadoop/hadoop [email protected]:/home/hadoop
[[email protected] conf]$ scp -r /home/hadoop/hadoop [email protected]:/home/hadoop
[[email protected] conf]$ scp -r /home/hadoop/hadoop [email protected]:/home/hadoop
向另外三臺機器傳送hadoop,記住這裡傳送到另外一臺機器的hadoop使用者下,而非root使用者下。傳送完成,就意味著三臺機器的hadoop都已經安裝完成。
5、 安裝ssh
為了在master機器中啟動叢集中所有的hadoop,這裡安裝ssh是提供啟動方便。
將slave1、slave2、slave3三臺機器都切換到hadoop使用者;
在slave1、slave2、slave3三臺機器中執行ssh localhost,是為了生成.ssh目錄,這個目錄預設是隱藏的需要使用ll –a命令檢視。
[[email protected] ~]$ ll -a
總用量 32
drwx------. 5 hadoop hadoop 4096 11月 20 23:09 .
drwxr-xr-x. 3 root root 4096 11月 20 22:20 ..
-rw-r--r--. 1 hadoop hadoop 18 7月 18 2013 .bash_logout
-rw-r--r--. 1 hadoop hadoop 176 7月 18 2013 .bash_profile
-rw-r--r--. 1 hadoop hadoop 124 7月 18 2013 .bashrc
drwxr-xr-x. 2 hadoop hadoop 4096 11月 12 2010 .gnome2
drwxr-xr-x. 14 hadoop hadoop 4096 11月 20 23:03 hadoop
drwx------. 2 hadoop hadoop 4096 11月 20 23:09 .ssh
在master機器中生成公鑰和私鑰:
進入.ssh目錄,移除裡面的known_hosts檔案
[[email protected] ~]$ cd .ssh
[[email protected] .ssh]$ ll
總用量 4
-rw-r--r--. 1 hadoop hadoop 1209 11月 20 23:05 known_hosts
[[email protected] .ssh]$
[[email protected] .ssh]$ rm -rf known_hosts
生成公鑰和私鑰:
[[email protected] .ssh]$ ssh-keygen -t rsa
出現需要輸入內容的對話,一律回車,只到生成結束
把公鑰放到認證列表中:
[[email protected] .ssh]$ cat id_rsa.pub >> authorized_keys
此時.ssh目錄下回多出一個檔案authorized_keys
給authorized_keys檔案授權:
[[email protected] .ssh]$ chmod 600 authorized_keys
將authorized_keys檔案傳送到slave1、slave2、slave3的hadoop使用者下的.ssh目錄下:
[[email protected] .ssh]$ scp ~/.ssh/authorized_keys [email protected]:~/.ssh/
[[email protected] .ssh]$ scp ~/.ssh/authorized_keys [email protected]:~/.ssh/
[[email protected] .ssh]$ scp ~/.ssh/authorized_keys [email protected]:~/.ssh/
至此ssh就安裝成功了。
6、 啟動hadoop,這裡要注意,要使用hadoop使用者,不能用root使用者。
格式化叢集:
[[email protected] .ssh]$ hadoop namenode –format
啟動叢集:
[[email protected] ~]$ start-all.sh
Warning: $HADOOP_HOME is deprecated.
starting namenode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-namenode-master.out
slave3: starting datanode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-datanode-slave3.out
slave2: starting datanode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-datanode-slave2.out
slave1: starting datanode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-datanode-slave1.out
The authenticity of host 'master (192.168.56.200)' can't be established.
RSA key fingerprint is 63:e7:e2:e1:ae:bb:59:f8:ec:e8:23:e0:22:3e:ac:16.
Are you sure you want to continue connecting (yes/no)? yes
master: Warning: Permanently added 'master,192.168.56.200' (RSA) to the list of known hosts.
master: starting secondarynamenode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-secondarynamenode-master.out
starting jobtracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-jobtracker-master.out
slave2: starting tasktracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-slave2.out
slave1: starting tasktracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-slave1.out
slave3: starting tasktracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-slave3.out
這樣叢集就啟動成功了。
7、 jps命令測試是否安裝成功
master機器:
[[email protected] ~]$ jps
2372 JobTracker
2298 SecondaryNameNode
2128 NameNode
2471 Jps
slave1機器:
[[email protected] ~]$ jps
2185 Jps
2019 DataNode
2106 TaskTracker
slave2機器:
[[email protected] ~]$ jps
2101 TaskTracker
2183 Jps
2013 DataNode
slave3機器:
[[email protected] ~]$ jps
2115 TaskTracker
2211 Jps
2041 DataNode
至此hadoop叢集的安裝和啟動就完成了,啟動叢集只需要在master機器上執行start-all.sh就可以。停止叢集使用stop-all.sh命令。
相關推薦
hadoop叢集的安裝步驟和配置
hadoop是由java語言編寫的,首先我們肯定要在電腦中安裝jdk,配置好jdk的環境,接下來就是安裝hadoop叢集的步驟了,在安裝之前需要建立hadoop使用者組和使用者,另外我此時使用的是一主(master)三從(slave1、slave2、slave3)。 1、
JDK下載地址以及安裝步驟和配置
一、下載地址 https://www.oracle.com/technetwork/java/javase/downloads/index.html 二、安裝 根據提示安裝jdr以及jer,預設安裝(可修改安裝位置) 三、配置環境變數 &
Hadoop叢集安裝步驟
大家好,今天講解的是Hadoop安裝步驟,內容下: 一、前期準備 1、必須要有三臺Linux(小編使用的是ubuntu14.04server版,大家也可以使用別的Linux,但三臺電腦必須是統一的Linux版本,ubuntu14.04server下載地址[h
完全分散式Hadoop叢集的安裝搭建和配置(4節點)
Hadoop版本:hadoop-2.5.1-x64.tar.gz 學習參考了給力星http://www.powerxing.com/install-hadoop-cluster/的兩個節點的hadoo
Linux 安裝Elasticsearch和配置ik分詞器步驟
今天給同學們帶來的是關於Elasticsearch的簡單介紹以及如何在linux中搭建elasticsearch和增添ik分詞器,本篇文章我們以搭建elasticsearch為主,後續的文章中將會將es與springboot結合,將其新增到實際開發中。 1.Elasti
配置hadoop叢集常見問題和概念聯絡
1)防火牆沒關閉、或者沒有啟動yarn(如果namenode和yarn的resourcemanager在同一臺伺服器上,就只需要配置該臺伺服器的ssh,然後把公鑰分發到其他節點,如果namenode和resourcemanager在不同伺服器上,那麼這兩臺伺服器都必須配置ssh,把各自的公鑰
hadoop叢集安裝前環境的配置
1.1增加hadoop使用者 一)建立一個admin使用者 [[email protected] home]# adduser hadoop 沒輸出?沒有輸出在linux下就是操作正確 (二)為admin使用者設定密碼 [[email protected]
Hadoop叢集安裝配置
Hadoop的安裝分為單機方式、偽分散式方式 和 完全分散式方式。 單機模式 : Hadoop的預設模式。當首次解壓Hadoop的原始碼包時,Hadoop無法瞭解硬體安裝環境,便保守地選擇了最小配置。在這種預設模式下所有3個XML檔案均為空。當配置檔案為空時,Hadoop會完全執行在本地
Hadoop叢集安裝配置教程_Hadoop2.6.0_Ubuntu/CentOS
Hadoop叢集安裝配置教程_Hadoop2.6.0_Ubuntu/CentOS 2014-08-09 (updated: 2016-09-26) 125333 217 本教程適合於原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1 等
Hadoop 叢集安裝(從節點安裝配置)
1、Java環境配置 view plain copy sudo mv /tmp/java /opt/ jdk安裝完配置環境變數,編輯/etc/profile: view plain copy sudo vim /etc/profile 在檔案末尾,新增如下內容: view plain copy expor
liunx 安裝 nginx 和 配置 nginx步驟
1:主線版本 2:穩定版本 3:歷史版本 二: 在安裝nginx前首先要確認系統中安裝了gcc、pcre-devel、zlib-devel、openssl-devel。 安裝命令: yum -y install gcc pcre-
Hadoop+Spark叢集安裝步驟詳解
一、環境:作業系統版本:SUSE Linux Enterprise Server 11 (x86_64) SP3主機名:192.168.0.10 node1192.168.0.11 node2192.168.0.12 node3192.168.0.13
CentOS7.0基於hadoop叢集安裝配置Hive
前言 安裝Apache Hive前提是要先安裝hadoop叢集,並且hive只需要在hadoop的namenode節點叢集裡安裝即可(需要再有的namenode上安裝),可以不在datanode節點的機器上安裝。還需要說明的是,雖然修改配置檔案並不需要把had
MySQL官方教程及各平臺的安裝教程和配置詳解入口
www 官方 apt源 nbsp chrom 版本選擇 rom gui apt 官方文檔入口: https://dev.mysql.com/doc/ 一般選擇MySQL服務器版本入口: https://dev.mysql.com/doc/refman/en/
安裝IIs和配置IIs 錯誤3
開發平臺 分享 title http 錯誤 lac back 右鍵 tar reg 1.HTTP 錯誤 500.21 - Internal Server Error 解決方案 2. 不久前重新安裝了Windows7,在安裝了VS2010 開發平臺之後,將網站發布到IIS
ansible安裝部署和配置、常用模塊整理
自動化運維工具 輸出信息 pat 秘鑰 img 系統命令 hair 作用 環境 今天心情不錯~~~~第25個生日了,又遇昨晚百年難得一見的藍月亮,所以昨晚連夜整理了文檔,會分為兩部分發出去,ansible批量化部署在工作中是非常實用,建議呢 整理大量常用模塊去練習1.1.1
kylin安裝步驟和註意的點
kylin 安裝 部署 下載官方的tar包後,解壓,配置KYLIN_HOME和HIVE_CONF(hive-site.xml所在的目錄)配置conf/kylin.properties和tomcat/conf/server.xmlconf/kylin.properties根據自己需要去配置,主要配置
mac下安裝Maven和配置環境變量
環境變量 java環境 targe download 查看 window bsp 編輯 配置 1、下載maven包: 下載鏈接:??http://maven.apache.org/download.cgi maven下載文件釋義: 1?? Binary ta
linux centos7 nginx 安裝部署和配置
php strong b- 資料 解壓 停止 forward wsdl 安裝路徑 1/什麽是NginxNginx("enginex")是一個高性能的HTTP和反向代理服務器,也是一個IMAP/POP3/SMTP代理服務器,在高連接並發的情況下Nginx是Apache服務器不
Hadoop HDFS安裝、環境配置
dfs- 宋體 name xftp hadoop export 配置環境 lib bin hadoop安裝 進入Xftp將hadoop-2.7.3.tar.gz 復制到自己的虛擬機系統下的放軟件的地方,我的是/soft/software 在虛擬機系統裝軟件文件裏,進行