1. 程式人生 > >hadoop + zookeeper 安裝部署

hadoop + zookeeper 安裝部署

1. 網路配置

1.1 檢視當前機器名稱
     #hostname

1.2 修改當前機器名稱

1.3 修改當前機器IP

1.4 配置hosts檔案(必須)

    192.168.3.111  hadoopserver01
    192.168.3.112  hadoopserver02
    192.168.3.113  hadoopserver03

1.5 VSFTP上傳

2. SSH無密碼驗證配置
2.1 SSH無密碼原理

Master(NameNode | JobTracker)作為客戶端,要實現無密碼公鑰認證,連線到伺服器Salve(DataNode | Tasktracker)上時,需要在Master上生成一個金鑰對,包括一個公鑰和一個私鑰,而後將公鑰複製到所有的Slave上。當Master通過SSH連線Salve時,Salve就會生成一個隨機數並用Master的公鑰對隨機數進行加密,併發送給Master。Master收到加密數之後再用私鑰解密,並將解密數回傳給Slave,Slave確認解密數無誤之後就允許Master進行連線了。這就是一個公鑰認證過程,其間不需要使用者手工輸入密碼。重要過程是將客戶端Master複製到Slave上。


2.2 Master機器上生成密碼對

    #ssh-keygen –t rsa –P ''


    接著在Master節點上做如下配置,把id_rsa.pub追加到授權的key裡面去。
    #cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


    在驗證前,需要做兩件事兒。第一件事兒是修改檔案"authorized_keys"許可權(許可權的設定非常重要,因為不安全的設定安全設定,會讓你不能使用RSA功能),另一件事兒是用root使用者設定"/etc/ssh/sshd_config"的內容。使其無密碼登入有效


    修改檔案"authorized_keys"
    #chmod 600 ~/.ssh/authorized_keys


    設定SSH配置, 用root使用者登入伺服器修改SSH配置檔案"/etc/ssh/sshd_config"的下列內容
    #vim /etc/ssh/sshd_conf
    >RSAAuthentication yes # 啟用 RSA 認證
    >PubkeyAuthentication yes # 啟用公鑰私鑰配對認證方式
    >AuthorizedKeysFile .ssh/authorized_keys # 公鑰檔案路徑(和上面生成的檔案同)


    設定完之後記得重啟SSH服務,才能使剛才設定有效。
    #service sshd restart


    使用hadoop普通使用者驗證是否成功。
    #ssh localhost


    把公鑰複製所有的Slave機器上
    #scp ~/.ssh/id_rsa.pub
[email protected]
:~/


    在slave"/home/hadoop/"下建立".ssh"資料夾
    #mkdir ~/.ssh


    修改資料夾".ssh"的使用者許可權,把他的許可權修改為"700" (注意這裡是700)
    #chmod 700 ~/.ssh


    追加到授權檔案"authorized_keys"
    #cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
    #chmod 600 ~/.ssh/authorized_keys


    用root使用者修改"/etc/ssh/sshd_config"
    #vim /etc/ssh/sshd_conf
    >RSAAuthentication yes # 啟用 RSA 認證
    >PubkeyAuthentication yes # 啟用公鑰私鑰配對認證方式
    >AuthorizedKeysFile .ssh/authorized_keys # 公鑰檔案路徑(和上面生成的檔案同)


    最後記得把"/home/hadoop/"目錄下的"id_rsa.pub"檔案刪除掉


2.3 配置所有Slave無密碼登入Master

    和Master無密碼登入所有Slave原理一樣,就是把Slave的公鑰追加到Master的".ssh"資料夾下的"authorized_keys"中,記得是追加(>>)


3 Java環境安裝
   所有的機器上都要安裝JDK,現在就先在Master伺服器安裝,然後其他伺服器按照步驟重複進行即可。安裝JDK以及配置環境變數,需要以"root"的身份進行


3.1 下載JDK http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html


3.2 首先用root身份登入"Master.Hadoop"後在"/usr"下建立"java"資料夾,
    #mkdir /usr/java
    #cp /mnt/hgfs/linux/jdk-8u60-linux-x64.tar.gz /usr/java/


3.3 配置環境變數, 編輯"/etc/profile"檔案,在後面新增Java的"JAVA_HOME"、"CLASSPATH"以及"PATH"內容
    #vim     /etc/profile


    ># set java environment
    >export JAVA_HOME=/usr/java/jdk1.8.0_131/
    >export JRE_HOME=/usr/java/jdk1.8.0_131/jre
    >export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
    >export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin


    或者


    ># set java environment
    >export JAVA_HOME=/usr/java/jdk1.8.0_131
    >export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
    >export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin


    儲存並退出,執行下面命令使其配置立即生效。
    #source /etc/profile


3.4 驗證安裝成功
    #java -version


4 Zookeeper安裝(3.3.6)
    Apache ZooKeeper是一個為分散式應用所設計的開源協調服務,其設計目的是為了減輕分散式應用程式所承擔的協調任務。它可以為使用者提供同步、配置管理、分組和命名等服務


4.1 下載並解壓ZooKeeper-3.4.6.tar.gz
    #cd /opt
    #tar -zxvf zookeeper-3.4.6.tar.gz


    #cp zoo_sample.cfg zoo.cfg
    >dataDir=/data/zookeeper/zkdata
    >dataLogDir=/data/zookeeper/zkdatalog
    >server.1=master:2888:3888
    >server.2=slave1:2888:3888
    >server.3=slave2:2888:3888


    #mkdir -p /data/zookeeper/zkdata
    #mkdir -p /data/zookeeper/zkdatalog
    #cd /data/zookeeper/zkdata
    #touch myid
    #echo "1" > myid


    設定日誌
    #vim conf/log4j.properties
    ># Define some default values that can be overridden by system properties
    >zookeeper.root.logger=INFO, ROLLINGFILE


    ># Add ROLLINGFILE to rootLogger to get log file output
    >#    Log DEBUG level and above messages to a log file
    >log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender (暫不做該項修改)


    #vim bin/zkEvn.sh
    >if [ "x${ZOO_LOG_DIR}" = "x" ]
    >then
    >    ZOO_LOG_DIR="$ZOOBINDIR/../logs"
    >fi
    >if [ "x${ZOO_LOG4J_PROP}" = "x" ]
    >then
    >    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
    >fi


4.2 從master節點分發檔案到其他節點


    #scp -r zookeeper-3.4.6 slave1:~/
    #scp -r zookeeper-3.4.6 slave2:~/
    #scp -r data slave1:~/
    #scp -r data slave2:~/


    在slave1節點的/opt/目錄, vi ./data/zookeeper/zkdata/myid 修改為 2
    在slave2節點的/opt/目錄, vi ./data/zookeeper/zkdata/myid 修改為 3


4.3 在每個節點配置環境變數/etc/profile
    #Set ZOOKEEPER_HOME ENVIRONMENT
    >export ZOOKEEPER_HOME=/opt/zookeeper
    >export PATH=$PATH:$ZOOKEEPER_HOME/bin


4.4 啟動
    關閉防火牆
    #sudo ufw disable


    在每個節點上$ZOOKEEPER_HOME目錄下,執行 (這裡的啟動順序為 master >  slave1 >  slave2 )
    #bin/zkServer.sh start
    並通過jps可以看到:啟動了QuorumpeerMain程序
    #jps


    並用命令檢視啟動狀態
    這裡需要注意點,只有當至少啟動了三個節點之後,該命令才會產生結果。否則會顯示:zookeeper Error contacting service. It is probably not running錯誤
    #bin/zkServer.sh status




5 Hadoop叢集安裝
5.1 安裝hadoop
    首先用root使用者登入"Master.Hadoop"機器,檢視我們之前用FTP上傳至"/home/Hadoop"上傳的"hadoop-1.0.0.tar.gz"


    #cp /home/hadoop/hadoop-1.0.0.tar.gz /usr
    #cd /usr
    #tar –zxvf hadoop-1.0.0.tar.gz
    #mv hadoop-1.0.0 hadoop
    #chown –R hadoop:hadoop hadoop
    #rm –rf hadoop-1.0.0.tar.gz


    最後在"/usr/hadoop"下面建立tmp資料夾,把Hadoop的安裝路徑新增到"/etc/profile"中,修改"/etc/profile"檔案(配置java環境變數的檔案),將以下語句新增到末尾,並使其有效


    #mkdir /usr/hadoop/tmp


    #vim /etc/profile


    ># set hadoop path
    >export HADOOP_HOME=/usr/hadoop
    >export PATH=$PATH:$HADOOP_HOME/bin


    重啟"/etc/profile"
    #source /etc/profile


5.2 配置hadoop (2.8)
    5.2.1 配置hadoop-env.sh
        該"hadoop-env.sh"檔案位於"/usr/hadoop/conf"目錄下, 在檔案的末尾新增下面內容
        ># set java environment
        >export JAVA_HOME=/usr/java/jdk1.6.0_31


        #vim etc/hadoop/core-site.xml
        在<configuration></configuration>中加入
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoopserver01:9000</value>
            </property>
            <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/hadoop/tmp</value>
            </property>
            <property>
                <name>io.file.buffer.size</name>
                <value>131702</value>
            </property>
            <property>
                <name>hadoop.proxyuser.hadoop.hosts</name>
                <value>*</value>
            </property>
            <property>
                <name>hadoop.proxyuser.hadoop.groups</name>
                <value>*</value>
            </property>


        #vim etc/hadoop/hdfs-site.xml
        在<configuration></configuration>中加入
            <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/hadoop/hdfs/name</value>
            </property>
            <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/root/hadoop/hdfs/data</value>
            </property>
            <property>
                <name>dfs.replication</name>
                <value>3</value>
            </property>
            <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoopserver01:9001</value>
            </property>
            <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
            </property>


            #vim etc/hadoop/mapred-site.xml
            在<configuration></configuration>中加入
                <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                </property>
                <property>
                    <name>mapreduce.jobhistory.address</name>
                    <value>hadoopserver01:10020</value>
                </property>
                <property>
                    <name>mapreduce.jobhistory.webapp.address</name>
                    <value>hadoopserver01:19888</value>
                </property>


            #vim etc/hadoop/yarn-site.xml
            在<configuration></configuration>中加入
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
                <property>
                    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
                    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.address</name>
                    <value>hadoopserver01:8032</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.scheduler.address</name>
                    <value>hadoopserver01:8030</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.resource-tracker.address</name>
                    <value>hadoopserver01:8031</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.admin.address</name>
                    <value>hadoopserver01:8033</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.webapp.address</name>
                    <value>hadoopserver01:8088</value>
                </property>
                <property>
                    <name>yarn.nodemanager.resource.memory-mb</name>
                    <value>6078</value>
                </property>


            #vim etc/hadoop/yarn-env.sh
            中找到 export JAVA_HOME 去掉註釋
            編輯java地址 export JAVA_HOME=/usr/java/jdk1.8.0_121


            找到JAVA_HEAP_MAX=-Xmx1000m
            改為 JAVA_HEAP_MAX=-Xmx1024m


            #vim etc/hadoop/slaves
            清空新增 hadoopserver01











相關推薦

hadoop + zookeeper 安裝部署

1. 網路配置 1.1 檢視當前機器名稱      #hostname1.2 修改當前機器名稱 1.3 修改當前機器IP 1.4 配置hosts檔案(必須)     192.168.3.111  hadoopserver01     192.168.3.112  hado

ZooKeeper安裝部署

sa0x01 簡介Zookeeper是一個很好的集群管理工具,被大量用於分布式計算。如Hadoop以及Storm系統中。Apache ZooKeeper是一個為分布式應用所設計開源協調服務,其設計目是為了減輕分布式應用程序所承擔的協調任務。可以為用戶提供同步、配置管理、分組和命名服務。0x02 環境說明在三臺

Zookeeper 安裝部署及常用命令

服務管理 啟動ZK服務: zkServer.sh start 檢視ZK狀態: zkServer.sh status 停止ZK服務: zkServer.sh stop 重啟ZK服務: zkServer.sh restart 終端操作 使用 zkCli 可以簡單的對 Zo

hadoop--presto安裝部署

  系統環境:hadoop + hive已經配置完成 1、下載presto:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.167/presto-server-0.167.tar.gz 2、解壓安裝 #&n

1.Hadoop叢集安裝部署

Hadoop叢集安裝部署 1.介紹 (1)架構模型 (2)使用工具 VMWARE cenos7 Xshell Xftp jdk-8u91-linux-x64.rpm hadoop-2.7.3.tar.gz 2.安裝步驟 (1)部署master 建立一臺虛擬機器 Xftp傳輸jdk、hadhoop安裝

hadoop docker安裝部署

前置條件 1.jdk映象 2.hadoop安裝包 解壓安裝包 tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C /usr/local cd /usr/local mv hadoop-2.6.4 hadoop 修改配置檔案: cd

ZooKeeper 安裝部署及hello world

ZooKeeper  安裝部署及hello world 先給一堆學習文件,方便以後檢視 官網文件地址大全: OverView(概述) http://zookeeper.apache.org/doc/r3.4.6/zookeeperOver.html Getting Sta

zookeeper安裝/部署/叢集

以下連結是搭建建方式 2 以下地址設定開啟自啟教程 錯誤一:出現zookeeper不支援chkconfig 服務解決辦法 # chkconfig:   2345 10 90  # description:  zookeeper  在自啟指令碼的頭兩

Hadoop 分布式部署 八:分布式協作框架Zookeeper架構功能講解 及本地模式安裝部署和命令使用 】

.gz 權限 實現 creat info 應用 data 就是 數據結構 What is Zookeeper     是一個開源的分布式的,為分布式應用提供協作服務的Apache項目     提供一個簡單的原語集合,以便與分布式應用可以在他之上構建更高層次的同步服務

Hadoop 分布式部署 九:分布式協作框架Zookeeper架構 分布式安裝部署

文件 com info 框架 分享圖片 zkserver bubuko 情況 soft 1.首先將運行在本地上的 zookeeper 給停止掉 2.到/opt/softwares 目錄下 將 zookeeper解壓到 /opt/app 目錄下     命令: ta

zookeeper安裝部署

img ise size nap alt alias 沒有 color nts 閱讀目錄 一. 單機安裝、配置 二. 集群安裝、配置 安裝及部署 回到頂部 一. 單機安裝、配置 1、下載zookeeper二進制安裝包 下載 curl -L -O http:/

hadoop分布式安裝部署具體視頻教程(網盤附配好環境的CentOS虛擬機文件/hadoop配置文件)

down hdf lan nag home 開機啟動 prop baidu ifcfg-eth 參考資源下載:http://pan.baidu.com/s/1ntwUij3視頻安裝教程:hadoop安裝.flvVirtualBox虛擬機:hadoop.part1-part

zookeeper與kafka安裝部署及java環境搭建

3.4 項目目錄 tin bytes result zxvf util ise cat 1. ZooKeeper安裝部署 本文在一臺機器上模擬3個zk server的集群安裝。 1.1. 創建目錄、解壓 cd /usr/ #創建項目目錄 mkdir zookeepe

RHEL7安裝部署ZooKeeper

spa netty clas quorum complete 日誌 fire client tail 轉載請註明出處:jiq?欽‘s technical Blog - 季義欽 文章說明:分布式註冊中心(鏈接)須要安裝的組件包括兩個部分:1、註冊中心服務(Zookeepe

hadoop-3.0.0-alpha4安裝部署過程

auth specific daemon ive bsp admin ram 8.14 產生 關閉防火墻 #systemctl stop firewalld.service #停止firewall #systemctl disable firewalld.service #

Spark入門實戰系列--2.Spark編譯與部署(中)--Hadoop編譯安裝

二進制包 1.10 不能 mapr 修復 att 機器 mave end 【註】該系列文章以及使用到安裝包/測試數據 能夠在《[傾情大奉送–Spark入門實戰系列] (http://blog.csdn.net/yirenboy/article/deta

ZooKeeper 學習之 安裝 部署

安裝 apach 編寫 端口 erro lang 問題 名稱 cal ZooKeeper是一個分布式的,開放源碼的分布式應用程序協調服務,ZooKeeper是以Fast Paxos算法為基礎,實現同步服務,配置維護和命名服務等分布式應用。 Zookeeper 分布式服務框

Zookeeper 3.4.10 安裝部署

部署 zkserver dir zookeeper nbsp pos start 地址 class 安裝Zookeeper cd /opt/bigdata tar -zvxf zookeeper-3.4.10.tar.gz vi /etc/profile 添加: #zook

Zookeeper集群安裝部署

機器 apr comm aps 請求 com ron build 增刪改 zookeeper集群: zookeeper作為一個開源的分布式應用協調系統,已經用到了許多分布式項目中,用來狀態同步服務、集群管理、分布式應用配置項的管理等工作。 ZooKeeper的工作模式有

Centos7安裝部署Hadoop環境

機器 linu 刪除 2.3 pan 本地 安裝centos 2.4 src Hadoop2.7.7部署 一、VMware14安裝centos7(過程略) 二、配置Linux 1.關閉防火墻: 2.查看當前java版本,為openjdk版的 3.刪除open