2. 程式人生 > >spark集群安裝部署

spark集群安裝部署

阿新 • • 發佈：2018-09-12
track 2.7 問題 rac 驗證配置 ogg host 格式 file

通過Ambari(HDP)或者Cloudera Management (CDH)等集群管理服務安裝和部署在此不多介紹，只需要在界面直接操作和配置即可，本文主要通過原生安裝，熟悉安裝配置流程。

1.選取三臺服務器（CentOS系統64位）

　　114.55.246.88 主節點

　　114.55.246.77 從節點

　　114.55.246.93 從節點

之後的操作如果是用普通用戶操作的話也必須知道root用戶的密碼，因為有些操作是得用root用戶操作。如果是用root用戶操作的話就不存在以上問題。

　　我是用root用戶操作的。

2.修改hosts文件

　　修改三臺服務器的hosts文件。

　　vi /etc/hosts

　　在原文件的基礎最後面加上：

114.55.246.88 Master
114.55.246.77 Slave1
114.55.246.93 Slave2

　　修改完成後保存執行如下命令。

　　source /etc/hosts

3.ssh無密碼驗證配置

　　3.1安裝和啟動ssh協議

　　我們需要兩個服務：ssh和rsync。

　　可以通過下面命令查看是否已經安裝：

　　rpm -qa|grep openssh

　　rpm -qa|grep rsync

　　如果沒有安裝ssh和rsync，可以通過下面命令進行安裝：

　　yum install ssh （安裝ssh協議）

　　yum install rsync （rsync是一個遠程數據同步工具，可通過LAN/WAN快速同步多臺主機間的文件）

　　service sshd restart （啟動服務）

　　3.2 配置Master無密碼登錄所有Salve

　　配置Master節點，以下是在Master節點的配置操作。

　　1）在Master節點上生成密碼對，在Master節點上執行以下命令：

　　ssh-keygen -t rsa -P ‘‘

　　生成的密鑰對：id_rsa和id_rsa.pub，默認存儲在"/root/.ssh"目錄下。

　　2）接著在Master節點上做如下配置，把id_rsa.pub追加到授權的key裏面去。

　　cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

　　3）修改ssh配置文件"/etc/ssh/sshd_config"的下列內容，將以下內容的註釋去掉：

　　RSAAuthentication yes # 啟用 RSA 認證

　　PubkeyAuthentication yes # 啟用公鑰私鑰配對認證方式

　　AuthorizedKeysFile .ssh/authorized_keys # 公鑰文件路徑（和上面生成的文件同）

　　4）重啟ssh服務，才能使剛才設置有效。

　　service sshd restart

　　5）驗證無密碼登錄本機是否成功。

　　ssh localhost

　　6）接下來的就是把公鑰復制到所有的Slave機器上。使用下面的命令進行復制公鑰：

　　scp /root/.ssh/id_rsa.pub root@Slave1:/root/

　　scp /root/.ssh/id_rsa.pub root@Slave2:/root/

　　

　　接著配置Slave節點，以下是在Slave1節點的配置操作。

　　1）在"/root/"下創建".ssh"文件夾，如果已經存在就不需要創建了。

　　mkdir /root/.ssh

　　2）將Master的公鑰追加到Slave1的授權文件"authorized_keys"中去。

　　cat /root/id_rsa.pub >> /root/.ssh/authorized_keys

　　3）修改"/etc/ssh/sshd_config"，具體步驟參考前面Master設置的第3步和第4步。

　　4）用Master使用ssh無密碼登錄Slave1

　　ssh 114.55.246.77

　　5）把"/root/"目錄下的"id_rsa.pub"文件刪除掉。

　　rm –r /root/id_rsa.pub

　　重復上面的5個步驟把Slave2服務器進行相同的配置。

　　3.3 配置所有Slave無密碼登錄Master

　　以下是在Slave1節點的配置操作。

　　1）創建"Slave1"自己的公鑰和私鑰，並把自己的公鑰追加到"authorized_keys"文件中，執行下面命令：

　　ssh-keygen -t rsa -P ‘‘

　　cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

　　2）將Slave1節點的公鑰"id_rsa.pub"復制到Master節點的"/root/"目錄下。

　　scp /root/.ssh/id_rsa.pub root@Master:/root/

　　

　　以下是在Master節點的配置操作。

　　1）將Slave1的公鑰追加到Master的授權文件"authorized_keys"中去。

　　cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

　　2）刪除Slave1復制過來的"id_rsa.pub"文件。

　　rm –r /root/id_rsa.pub

　　配置完成後測試從Slave1到Master無密碼登錄。

　　ssh 114.55.246.88

　　按照上面的步驟把Slave2和Master之間建立起無密碼登錄。這樣，Master能無密碼驗證登錄每個Slave，每個Slave也能無密碼驗證登錄到Master。

4.安裝基礎環境（JAVA和SCALA環境）

　　4.1 Java1.8環境搭建

　　1）下載jdk-8u121-linux-x64.tar.gz解壓

　　tar -zxvf jdk-8u121-linux-x64.tar.gz

　　2）添加Java環境變量，在/etc/profile中添加：

export JAVA_HOME=/usr/local/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
export JAVA_HOME PATH CLASSPATH

　　3）保存後刷新配置

　　source /etc/profile

　　4.2 Scala2.11.8環境搭建

　　1）下載scala安裝包scala-2.11.8.rpm安裝

　　rpm -ivh scala-2.11.8.rpm

　　2）添加Scala環境變量，在/etc/profile中添加：

export SCALA_HOME=/usr/share/scala
export PATH=$SCALA_HOME/bin:$PATH

　　3）保存後刷新配置

　　source /etc/profile

5.Hadoop2.7.3完全分布式搭建

　　以下是在Master節點操作：

　　1）下載二進制包hadoop-2.7.3.tar.gz

　　2）解壓並移動到相應目錄，我習慣將軟件放到/opt目錄下，命令如下：

　　tar -zxvf hadoop-2.7.3.tar.gz

　　mv hadoop-2.7.3 /opt

　　3）修改相應的配置文件。

　　修改/etc/profile，增加如下內容：

技術分享圖片 
 export HADOOP_HOME=/opt/hadoop-2.7.3/
 export PATH=$PATH:$HADOOP_HOME/bin
 export PATH=$PATH:$HADOOP_HOME/sbin
 export HADOOP_MAPRED_HOME=$HADOOP_HOME
 export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME
 export YARN_HOME=$HADOOP_HOME
 export HADOOP_ROOT_LOGGER=INFO,console
 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
 export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
技術分享圖片

　　修改完成後執行：

　　source /etc/profile

　　修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改JAVA_HOME 如下：

  export JAVA_HOME=/usr/local/jdk1.8.0_121

　　

　　修改$HADOOP_HOME/etc/hadoop/slaves，將原來的localhost刪除，改成如下內容：

Slave1
Slave2

　　

　　修改$HADOOP_HOME/etc/hadoop/core-site.xml

技術分享圖片 
<configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://Master:9000</value>
      </property>
      <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
     </property>
     <property>
          <name>hadoop.tmp.dir</name>
          <value>/opt/hadoop-2.7.3/tmp</value>
     </property>
</configuration>
技術分享圖片

　　

　　修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml

技術分享圖片 
<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>Master:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/opt/hadoop-2.7.3/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/opt/hadoop-2.7.3/hdfs/data</value>
    </property>
</configuration>
技術分享圖片

　　復制template，生成xml，命令如下：

　　cp mapred-site.xml.template mapred-site.xml

　　修改$HADOOP_HOME/etc/hadoop/mapred-site.xml

技術分享圖片 
<configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>Master:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>Master:19888</value>
  </property>
</configuration>
技術分享圖片

　　修改$HADOOP_HOME/etc/hadoop/yarn-site.xml

技術分享圖片 
<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>Master:8032</value>
     </property>
     <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>Master:8030</value>
     </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>Master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>Master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>Master:8088</value>
     </property>
</configuration>
技術分享圖片

　　4）復制Master節點的hadoop文件夾到Slave1和Slave2上。

　　scp -r /opt/hadoop-2.7.3 root@Slave1:/opt

　　scp -r /opt/hadoop-2.7.3 root@Slave2:/opt

　　5）在Slave1和Slave2上分別修改/etc/profile，過程同Master一樣。

　　6）在Master節點啟動集群，啟動之前格式化一下namenode：

　　hadoop namenode -format

　　啟動：

　　/opt/hadoop-2.7.3/sbin/start-all.sh

　　至此hadoop的完全分布式環境搭建完畢。

　　

　　7）查看集群是否啟動成功：

　　jps

　　Master顯示：

　　SecondaryNameNode

　　ResourceManager

　　NameNode

　　

　　Slave顯示：

　　NodeManager

　　DataNode

6.Spark2.1.0完全分布式環境搭建

　　以下操作都在Master節點進行。

　　1）下載二進制包spark-2.1.0-bin-hadoop2.7.tgz

　　2）解壓並移動到相應目錄，命令如下：

　　tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz

　　mv park-2.1.0-bin-hadoop2.7 /opt

　　3）修改相應的配置文件。

　　修改/etc/profie，增加如下內容：

export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7/
export PATH=$PATH:$SPARK_HOME/bin

　　

　　復制spark-env.sh.template成spark-env.sh

　　cp spark-env.sh.template spark-env.sh

　　修改$SPARK_HOME/conf/spark-env.sh，添加如下內容：

技術分享圖片 
export JAVA_HOME=/usr/local/jdk1.8.0_121
export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/opt/hadoop-2.7.3
export HADOOP_CONF_DIR=/opt/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=114.55.246.88
export SPARK_MASTER_HOST=114.55.246.88
export SPARK_LOCAL_IP=114.55.246.88
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7
export SPARK_DIST_CLASSPATH=$(/opt/hadoop-2.7.3/bin/hadoop classpath)
技術分享圖片

　　復制slaves.template成slaves

　　cp slaves.template slaves

　　修改$SPARK_HOME/conf/slaves，添加如下內容：

Master
Slave1
Slave2

　　4）將配置好的spark文件復制到Slave1和Slave2節點。

　　scp /opt/spark-2.1.0-bin-hadoop2.7 root@Slave1:/opt

scp /opt/spark-2.1.0-bin-hadoop2.7 root@Slave2:/opt

　　5）修改Slave1和Slave2配置。

　　在Slave1和Slave2上分別修改/etc/profile，增加Spark的配置，過程同Master一樣。

　　在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh，將export SPARK_LOCAL_IP=xxxxx改成Slave1和Slave2對應節點的IP。

　　6）在Master節點啟動集群。

　　/opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh

　　7）查看集群是否啟動成功：

　　jps

　　Master在Hadoop的基礎上新增了：

　　Master

　　Slave在Hadoop的基礎上新增了：

　　Worker

註意：

1.當要是用yarn資源管理器時，不需要啟動/opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh，只需要啟動/opt/hadoop-2.7.3/sbin/start-yarn.sh即可，運行spark任務是用：

spark-shell/spark-submit --master yarn --deploy-mode client/cluster即可

2.當要使用spark自帶的standlone或者local模式運行，則需要啟動/opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh

當/opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh和/opt/hadoop-2.7.3/sbin/start-yarn.sh都啟動時，任務到底在通過哪個資源管理器進行管理運行，則要看提交任務的方式，如：

1>spark-shell/spark-submit --master yarn --deploy-mode client/cluster //spark on yarn

2>spark-shell/spark-submit --master spark://node11:7077 //standlone

3>spark-shell/spark-submit --master local[*] //本地模式（用於測試）

spark集群安裝部署

相關推薦

spark集群安裝部署

track 2.7 問題 rac 驗證配置 ogg host 格式 file 通過Ambari(HDP)或者Cloudera Management (CDH)等集群管理服務安裝和部署在此不多介紹，只需要在界面直接操作和配置即可，本文主要通過原生安裝，熟悉安裝配置流程。 1.

redis4.0.1集群安裝部署

com cal slots server tcl copy trunc 節點 append 安裝環境 序號 項目 值 1 OS版本 Red Hat Enterprise Linux Server release 7.1 (Maipo)

Storm筆記整理（三）：Storm集群安裝部署與Topology作業提交

大數據 實時計算 Storm [TOC] Storm分布式集群安裝部署 概述 Storm集群表面類似Hadoop集群。但在Hadoop上你運行的是”MapReduce jobs”，在Storm上你運行的是”topologies”。”Jobs”和”topologies”是大不同的，一個關鍵不同是

Zookeeper集群安裝部署

機器 apr comm aps 請求 com ron build 增刪改 zookeeper集群： zookeeper作為一個開源的分布式應用協調系統，已經用到了許多分布式項目中，用來狀態同步服務、集群管理、分布式應用配置項的管理等工作。 ZooKeeper的工作模式有

kubernetes集群安裝部署

std iptable 接口 dock ole 日誌級別 name -m entos 部署環境說明： 1、CENTOS 7.4 2、Docker version 17.05.0 3、etcd Version: 3.3.8

HDFS集群安裝部署

pps ext 生效 boot art 命令 修改 profile ati 1-> 集群的準備工作 1）關閉防火墻(進行遠程連接) systemctl stop firewalld systemctl -disable firewalld 2）永久修改設置主

Mysql上的RAC：Percona XtraDB Cluster負載均衡集群安裝部署手冊

lpad protoc tps san make interact 連接數 文章 html 版權聲明：本文為博主原創文章，未經博主同意不得轉載。 https://blog.csdn.net

spark集群部署錯誤告警隨記

node pts 隨記 native not find find load home common 1，Error: Could not find or load main class namenode-format 這個是錯誤的把hadoop namenode -form

spark集群更換python安裝環境

python3 python3.6 export AC 更換 pan ln -s pro naconda 由於需要用到很多第三方的包，比如numpy，pandas等，而生產環境又無法上網單個包安裝太麻煩，因此考慮把之前安裝的python的獨立環境換成Anaconda

【待補充】Spark 集群模式 && Spark Job 部署模式

啟動 nbsp -s .cn 一個 sos ref 說明 www 0. 說明 　　Spark 集群模式 && Spark Job 部署模式 1. Spark 集群模式 　　[ Local ]　　使用一個 JVM 模擬 Spark 集群 　

spark 2.0.0集群安裝與hive on spark配置

3.6 temp format info port urn mysql5.7 del cnblogs 1. 環境準備: JDK1.8 hive 2.3.4 hadoop 2.7.3 hbase 1.3.3 scala 2.11.12 mysql5.7

Redis3.2.8集群安裝配置

redis3.2.8集群安裝配置具體就不做介紹了，直接開始安裝準備環境：使用2臺centos服務器，每臺機器上部署3個實例，集群為三個主節點與三個從節點： 第一臺 192.168.1.107:7000 192.168.1.107:7001 192.168.1.107:7002 第二臺 192.168.

centos EMQTTD 集群安裝配置與測試驗證

centos emqttd 集群安裝配置與測試驗證安裝包下載地址：http://emqtt.com/downloads在這裏我們下載 emqttd-centos6.8-v2.1.2.zip配置兩臺主機hosts192.168.0.10 s1.emqtt.io 192.168.0.20 s2.emqtt.i

Spark調研筆記第3篇 - Spark集群相應用的調度策略簡單介紹

executor enabled max 靜態 air apache div pan 相關 Spark集群的調度分應用間調度和應用內調度兩種情況，下文分別進行說明。 1. 應用間調度 1) 調度策略1: 資源靜態分區 資源靜態分區是指整個集群的資源被預先劃分為多個par

ELKB5.2.2集群環境部署及優化終極文檔

kibana5.2.2 elasticsearch5.2.2 elk5.2.2 elkb5.2.2.2 ELKB5.2.2集群環境部署本人陸陸續續接觸了ELK的1.4，2.0，2.4，5.0，5.2版本，可以說前面使用當中一直沒有太多感觸，最近使用5.2才慢慢有了點感覺，可見認知事務的艱難，本

Linux系統Oracle 12cR2 RAC集群安裝與維護管理（12.2）專題

oracle教程 oracle培訓 oracle數據庫教程 oracle工程師培訓 oracle數據庫培訓 風哥Linux系統Oracle 12cR2 RAC集群安裝與維護管理（12.2）專題包括內容：Oracle數據庫12cR2（項目實戰之一）：在Windows上安裝Oracle12.2

JEESZ-kafka集群安裝

Kafka Kafka分布式消息 Kafka分布式消息系統 Kafka集群 1. 在根目錄創建kafka文件夾（service1、service2、service3都創建） [[email protected]/* */ /]# mkdir kafka

同一個Docker swarm集群中部署多版本的測試環境

創建 ocs 集群管理 contain eight master reat ons 模式 先介紹下用到的技術 Docker swarm： Docker官方的集群管理工具，相比kubernetes更加簡單，容易入門。https://docs.docker.com/eng

zookeeper集群安裝

zk本文參考以下鏈接：http://www.cnblogs.com/yuyijq/p/4116365.html Zookeeper-Zookeeper leader選舉http://www.cnblogs.com/yuyijq/p/3424473.html Zookeeper-Zookeeper可以幹什麽h

storm的集群安裝與配置

安裝與配置 san trac dev sta custom href track back storm集群安裝 機器：(storm及zookeeper都是這3臺機器) 192.168.80.20 192.168.80.