1. 程式人生 > >Hadoop-2.8.4版本 分散式叢集搭建

Hadoop-2.8.4版本 分散式叢集搭建

Hadoop分散式叢集搭建

  • 建立虛擬機器(用VmWare工具,centos6)
  • 克隆三臺機器

master

slaver1

slaver2

  • 分別在每臺機器上安裝jdk >= 1.7版本

vim  /etc/profile

四、同步三臺虛擬機器的時間(時間同步)每臺機器都要做同樣的操作

1、yum install ntp

2、輸入“cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime”

3、輸入“ntpdate pool.ntp.org”

注意:如果電腦可以上網,但是虛擬機器不可以上網,可以如下操作

編輯   vim /etc/resolv.conf

新增如下兩行指令

nameserver 202.106.0.20

nameserver 8.8.8.8

  • 設定主機名

10.1.13.103(IP號) 設定這臺機器的主機名為master

10.1.13.104(IP號) 設定這臺機器的主機名為slaver1

10.1.13.105(IP號) 設定這臺機器的主機名為slaver2

在10.1.13.103(IP號)機器上執行如下操作

  1. adduser master
  2. passwd master  提示輸入密碼和再次確定
  3. 修改主機名  vim /etc/sysconfig/network

  1. 給master使用者root許可權

chmod +w /etc/sudoers

vim  /etc/sudoers

  1. 重啟虛擬機器,選擇master使用者登入

注意:另外兩臺機器也做同上的操作(名字分別為slaver1slaver2

  • 修改主機對映(三臺機器都是一樣的操作)
  1. vim  /etc/hosts

把hosts中的內容都刪除,然後新增如下

  • 配置靜態ip

1、vim /etc/udev/rules.d/70**-net.rules

改完的效果

2、vim /etc/sysconfig/network-scripts/ifcfg-eth0

原來的樣子

          修改後的樣子

  1. 重啟網絡卡

service network restart

成功後,提示如下

  1. 剩下的兩臺機器,做同上操作(ip和mac地址是不一樣)
  • 配置三臺機器之間的免密登入(必須在主機master上操作

ssh-keygen -t rsa  然後四個回車

ssh-copy-id  master  提示輸入密碼

ssh-copy-id  slaver1  提示輸入密碼

ssh-copy-id  slaver2  提示輸入密碼

測試:  ssh  slaver1  就不需要輸入密碼   然後在exit到當前使用者,可以執行下一次測試

  • 下載hadoop壓縮包,解壓(以下的所有操作都在主機上           進行)  溫馨提示:最好在官網下載,src的原始碼,然後在自己的機器上編譯,這樣就不會出現找不到jar包的異常
  1. 把hadoop解壓到/usr/local/目錄下

tar -zxvf hadoop-2.8.4.tar.gz -C /usr/local

  1. 把hadoop-2.8.4改名為hadoop

進入到/usr/local/下執行  

mv  hadoop-2.8.4  hadoop

  • 配置hadoop環境變數(也在主機下執行)

vim  /etc/profile

立即讓配置檔案生效

source  /etc/profile

此時,可以直接使用hadoop指令了

eg:   hadoop version

  • 關閉防火牆(三臺機器都要關閉)

service iptables status

service iptables stop(臨時關閉,不需要重啟虛擬機器)

chkconfig iptables off(永久關閉,需要重啟機器生效)

  • 修改主機的配置檔案

進入到/uer/local/hadoop資料夾

然後mkdir namenode

          mkdir datanode

 mkdir tmp

進入到 /usr/loacal/hadoop/etc/hadoop檔案然後如下編輯

1、vim  hadoop-env.sh

原來

該後

2、vim core-site.xml

在configuretion中新增

        <property>

           <name>fs.defaultFS</name>

           <value>hdfs://master:9000</value>

        </property>

        <property>

           <name>hadoop.tmp.dir</name>

           <value>/usr/local/hadoop/tmp</value>

         </property>

效果 

3、vim  hdfs-site.xml

  <property>

          <name>dfs.replication</name>

           <value>2</value>

 </property>

  <property>

               <name>dfs.namenode.secondary.http-address</name>

               <value>master:50090</value>

        </property>

        <property>

                 <name>dfs.name.dir</name>

                <value>/usr/local/hadoop/namenode</value>

         </property>

         <property>

                 <name>dfs.data.dir</name>                                                      

                 <value>/usr/local/hadoop/datanode</value>

          </property>

效果

4、vim mapred-site.xml(沒有mapred-site.xml但是有一個 mapred-site.xml.template

5、我們可以把名字改一下就可以了)

  1. mv  mapred-site.xml.template mapred-site.xml
  2. vim mapred-site.xml  然後新增

 <property>

           <name>mapreduce.framework.name</name>

             <value>yarn</value>

        </property>

效果

6、yarm-site.xml

<property>

           <name>yarn.resourcemanager.hostname</name>

            <value>master</value>

</property>

<property>

              <name>yarn.nodemanager.aux-services</name>

              <value>mapreduce_shuffle</value> 

</property>

<property>

              <name>yarn.log-aggregation-enable</name>

               <value>true</value> 

</property>

<property>             

               <name>yarn.log-aggregation.retain-seconds</name>

               <value>604800</value>

</property>

 <property>

               <name>yarn.nodemanager.resource.memory-mb</name>

               <value>2000</value>

 </property>

<property>

        <name>yarn.scheduler.maximum-allocation-mb</name>

        <value>2000</value>                                                   

</property>

<property>

        <name>yarn.scheduler.minimum-allocation-mb</name>

        <value>500</value>

</property>                                                                                

<property>

        <name>mapreduce.reduce.memory.mb</name>

        <value>2000</value>

 </property>

 <property>

              <name>mapreduce.map.memory.mb</name>

              <value>2000</value>                                         

</property>

<property>

         <name>yarn.nodemanager.vmem-pmem-ratio</name>

         <value>2.1</value>    

</property>

<property>

           <name>yarn.resourcemanager.address</name>

          <value>hadoop1:8032</value>

 </property>          

 <property>

           <name>yarn.resourcemanager.scheduler.address</name>

           <value>hadoop1:8030</value>

</property>                       

<property>

        <name>yarn.resourcemanager.resource-tracker.address</name>

       <value>hadoop1:8031</value>

</property>

效果

7、slaver

vim slavers

master

slaver1

slaver2

效果

  • 下發配置檔案到分機上   

下發hadoop到分機

  1. scp -r /usr/local/hadoop [email protected]:/usr/local/
  2. scp -r /usr/local/hadoop [email protected]:/usr/local/

   下發環境變數配置檔案到分機

  1. scp -r /etc/profile [email protected]:/etc/
  2. scp -r /etc/profile [email protected]:/etc/
  • 第一次執行的時候在主機下格式化namenode

hadoop namenode  -format

格式化成功

  • 啟動hadoop叢集
  1. start-all.sh  

  • 關閉叢集
  1. stop-all.sh
  • 測試叢集是否可用
  1. 訪問10.1.13.103:50070

  1. 訪問10.1.13.103:8088

  1. 測試mapreduce來實現對pi的計算
  1. 進入到/usr/local/hoaddop/shared/hadoop/mapreduce

2、執行

    hadoop jar hadoop-mapreduce-examples-2.8.4.jar  pi 20  50

恭喜你成功了:如果你遇到如下問題

1、啟動時提示檔案不是安全的,可以做如下操作

                 到hadoop的bin目錄下

執行:./hadoop  dfsadmin  -safemode leave命令。

如果輸入hadoop沒有提示,那麼可以執行  source  /etc/profile

相關推薦

Hadoop-2.8.4版本 分散式叢集搭建

Hadoop分散式叢集搭建 建立虛擬機器(用VmWare工具,centos6) 克隆三臺機器 master slaver1 slaver2 分別在每臺機器上安裝jdk >= 1.7版本 vim  /etc/profile 四、同步三臺虛擬機器的時間(時間

Hadoop-2.8.0之分散式叢集(HA架構)搭建

1、安裝前準備        ①、叢集規劃: 主機名稱 使用者 主機IP 安裝軟體 執行程序 centos71 hzq 192.168.1.201 jdk、hadoop NameNode、DFSZKFailoverController(zkfc

centos7+hadoop 2.8 的多節點叢集搭建

1、叢集IP 192.168.2.218  hadoop-slave-1 192.168.2.4 hadoop-master 2、java 選用自帶的java 1.7.0. openjdk 關於java版本和hadoop版本的搭配可以參考hadoop官方wiki htt

hadoop-2.6.5偽分散式叢集搭建

本次搭建的偽分散式hadoop叢集所使用的作業系統是紅帽5,64位系統。 所以,需要注意以下幾點: 1、jdk和hadoop安裝包也應該是64位的 2、64位的jdk是從檔名可以直接看出,例如:jdk-8u172-linux-x64.tar.gz 3、而

Hadoop 2.6.4 完全分散式環境搭建

一、安裝linux 環境 OS Linux:CentOS 6.6 64bit 記憶體 1.5-2GB 硬碟 15-20GB 二、安裝JDK 及修改hostname 1、修改hostname  [[email protected] ~]# vi /etc/s

Hadoop cdh版本分散式叢集搭建圖文教程

有很多想學習大資料的朋友,但苦於找不到系統的學習資料,搭建一個hadoop叢集都要耽擱很多時間。下面我給大家一個搭建大資料的圖文教程。教程中需要用到的軟體和資料我已經準備好了,下面是分享連結,直接下載即可。 連結:http://pan.baidu.com/s/1c1PW

在Ubuntu 上搭建hadoop-2.6.0-cdh分散式叢集

1 虛擬機器配置 序號 作業系統 CPU/core 記憶體/GB 硬碟/GB IP地址 主機名 1 Ubuntu 2 3 20 192.168.0.122 master 2 Ubuntu 1 2 20 192.168.0.123 slave

Hadoop-3.1.1完全分散式叢集搭建

一、工作準備 1.虛擬機器 安裝Vmware 安裝CentOs虛擬機器三臺 master 192.168.33.101 slave1 192.168.33.102 slave2 192.168.33.103 2.虛擬機器配置

hadoop-2.7.4-翻譯文件-分散式叢集搭建

安裝簡介 安裝Hadoop叢集通常需要在叢集中的所有機器上進行統一安裝,或者通過適合目標作業系統的打包系統進行安裝。 安裝的要點是對不同的節點分配不同的功能。 其他服務(例如Web App Proxy Server和MapReduce作業歷史記錄伺服器)通常根據負載在專用硬體或共享裝置上

Hadoop分散式叢集搭建方法(Version: java 1.8+CentOS 6.3)

夏天小廚 前言 大資料這個概念,說的通俗點就是對海量資料的處理分析。據不完全統計,世界百分之九十的資料都由近幾年產生,且不說海量資料的ETL,單從資料的儲存和資料展現的實時性,傳統的單機就已經無法滿足實際場景的需要例如很多OLAP系統。由此引出了Hadoop,Hadoop

Hadoop-2.8.0實踐——搭建Hadoop叢集

在本地測試hadoop成功後,我們在多臺主機上搭建hadoop叢集,用於處理大規模資料… 一、準備工作 1.1 系統環境 三臺 Ubuntu 16.04 64位筆記本(一臺作為Master節點,另外兩臺作為Slave節點) 1.2 建立使用者 建立使用者,併為其

Centos7 實現Hadoop-2.9.1分散式叢集搭建和部署(三臺機器)

一、準備三臺虛擬機器hadoop 192.168.131.128 localhost131 192.168.131.131 localhost134 192.168.131.134(以上是我的三臺虛擬機器的hostname 和 ip)hadoop 是 master 的 hos

Linux鞏固記錄(3) hadoop 2.7.4 環境搭建

修改 spa efault ram 是否 ado rmi down pan 由於要近期使用hadoop等進行相關任務執行,操作linux時候就多了 以前只在linux上配置J2EE項目執行環境,無非配置下jdk,部署tomcat,再通過docker或者jenkins自動部署

Linux上安裝Hadoop集群(CentOS7+hadoop-2.8.0)--------hadoop環境的搭建

html -a 總結 全分布式 .html oop details clas HR Linux上安裝Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/716

Hadoop單機/偽分散式叢集搭建(新手向)

此文已由作者朱笑笑授權網易雲社群釋出。 歡迎訪問網易雲社群,瞭解更多網易技術產品運營經驗。 本文主要參照官網的安裝步驟實現了Hadoop偽分散式叢集的搭建,希望能夠為初識Hadoop的小夥伴帶來借鑑意義。 環境: (1)系統環境:CentOS 7.3.1611 64位 (2)J

Hadoop 分散式叢集搭建

1 修改配置檔案 1.1 hadoop-env.sh export JAVA_HOME=/usr/apps/jdk1.8.0_181-amd64 1.2 core-site.xml <property> <name>fs.def

zookeeper-3.4.10分散式叢集環境搭建

初始叢集狀態 機器名 IP 作用 linux系統 master 192.168.218.133   CentOS-6.9-x86_64-bin-D

大資料之Hadoop學習(環境配置)——Hadoop分散式叢集搭建

title: Hadoop偽分散式叢集搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大資料 點選檢視我的部落格: Josonlee’s Blog 文章目錄 前言準備 偽分

史上最簡單詳細的Hadoop完全分散式叢集搭建

一.安裝虛擬機器環境 Vmware12中文官方版 連結:https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取碼:6rep 啟用祕鑰:MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 這個安裝就十分的簡單了,只需要不斷點選下

Hadoop-2.8.5的HA集群搭建

適配 bin tom proto format 切換 enabled 完成 數字 一、Hadoop HA 機制的學習   1.1、Hadoop 2.X 的架構圖        2.x版本中,HDFS架構解決了單點故障問題,即引入雙NameNode架構,同時借助共享存儲