CentOS7安裝spark叢集

阿新 • • 發佈：2019-01-29

1. 關閉防火牆

systemctl stop firewalld

如果不關閉防火牆，需要為防火牆新增進站出站規則，否則無法訪問spark的管理頁面

2. 修改機器名

hostnamectl set-hostname sm

其他2臺機器同上

3. 修改host

vim /etc/hosts

4. 配置ssh免密碼登陸

在sm機器

ssh-keygen -t rsa

ssh-copy-id -i ~/.ssh/[email protected]

ssh-copy-id -i ~/.ssh/

[email protected]

如果不配置本機的ssh免密碼登陸，在後面啟動spark叢集的時候，會發現本機的worker無法啟動

4. 安裝Java

安裝Zookeeper

複製zookeeper的gz檔案至sm機器

1. 解壓

tar zxf zookeeper-3.4.7.tar.gz

2. 配置

cd conf

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

3. 設定serverid

進入data資料夾

cd/home/peter/App/Spark/zookeeper-3.4.7/data

sm機器

echo "1">myid

4. Copy

至其他機器

scp -r/home/peter/App/Spark/zookeeper-3.4.7 [email protected]:/home/peter/App/Spark/zookeeper-3.4.7

5. 修改另外臺機器的serverid

重複第3步，分別將id設定為配置檔案中對應的id

cd/home/peter/App/Spark/zookeeper-3.4.7/data

sd1

echo "2">myid

sd2

echo "3">myid

安裝Spark

在sm機器

1. 拷貝安裝檔案並解壓

scala-2.11.7.tgz

spark-1.6.0-bin-hadoop2.6.tgz

hadoop-2.6.0.tar.gz

分別解壓

2. 設定環境變數

vim ~/.bash_profile

exportJAVA_HOME=/home/peter/App/jdk1.8.0_66

exportPATH=$JAVA_HOME/bin:$PATH

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportSCALA_HOME=/home/peter/App/Spark/scala-2.11.7

exportSPARK_HOME=/home/peter/App/Spark/spark-1.6.0-bin-hadoop2.6

exportHADOOP_HOME=/home/peter/App/Spark/hadoop-2.6.0

exportHADOOP_CONF_DIR=/home/peter/App/Spark/hadoop-2.6.0/etc/hadoop

export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bash_profile

3. 設定Spark

cd /home/peter/App/Spark/spark-1.6.0-bin-hadoop2.6/conf

cp spark-env.sh.template spark-env.sh

exportSCALA_HOME=/home/peter/App/Spark/scala-2.11.7

exportSPARK_WORKER_MEMORY=1G

exportJAVA_HOME=/home/peter/App/jdk1.8.0_66

exportSPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER-Dspark.deploy.zookeeper.url=sm:2181,sd1:2181,sd2:2181-Dspark.deploy.zookeeper.dir=/spark"

配置slaves

cp slaves.template slaves

vim slaves

4. 拷貝安裝檔案以及配置檔案至其他機器

Java安裝檔案及配置檔案

Hadoop

Spark

Scala

5. 啟動Spark叢集

每臺機器啟動ZK

/home/peter/App/Spark/zookeeper-3.4.7/bin/zkServer.shstart

在SM機器啟動Spark叢集

cd/home/peter/App/Spark/spark-1.6.0-bin-hadoop2.6

./sbin/start-all.sh

選中一臺機器作為Standby Master，啟動Master程序

./sbin/start-master.sh

啟動後，可訪問Spark AliveMaster的管理頁面以及Standby Master的管理頁面

CentOS7安裝spark叢集

1. 關閉防火牆 systemctl stop firewalld systemctl stop firewalld 如果不關閉防火牆，需要為防火牆新增進站出站規則，否則無法訪問spark的管理頁面 2. 修改機器名 hostnamectl set-hostname sm

Linux安裝Spark叢集(CentOS7+Spark2.1.1+Hadoop2.8.0)

[plain] view plain copy print?{SPARK_HOME}/bin  </span></span></li></ol></div><pre code_snippet_id="2398

Linux下安裝spark叢集

1、安裝scala 2、安裝Spark 3、配置Spark 修改配置檔案spark-env.sh，在解壓spark下的conf檔案中將模板檔案複製出來 cp spark-env.sh.template spark-env.sh cp slave.template sl

Centos7 安裝redis叢集哨兵模式

一：整體哨兵模式規劃 redis節點規劃：6381 （master）， 6382 （slave），6383 （slave），6384 （slave） sentinel模式節點規劃：26381 ， 26382 二：Redis主從安裝步驟 2.在/usr/local/

centos7 安裝couchbase叢集

linux版本 ➜ ansible ansible -i hosts cache -u root -m shell -a 'uname -a ' 10.39.47.62 | SUCCESS | rc=0 >> Linux i-ec0m1

安裝Spark叢集(簡述)

前提: 已經安裝好hadoop叢集和zookeeper,功能正常 1.上傳安裝包(所有節點)(略) 2.解壓(略) 3.修改配置檔案 cd /apps/spark-2.2.0-bin-hadoop2.7/conf/ 1. vi spark-env.sh

阿里雲Centos7 安裝 k8s 叢集（使用過程中的坑）

個人備忘下面這個地址能滿足大部分需求：上文：5.2 的配置三臺伺服器都要修改，5.3 的命令 [[email protected] ~]# etcdctl mk /atomic.io/network/config '{ "Network": "1

安裝spark叢集及spark介紹

Spark的介紹 Hadoop與Strom Hadoop： MapReduce：為海量資料提供了計算，但只有Map和Reduce操作，操作不靈活。 HDFS（分散式檔案系統）：為海量的資料提供了儲

Docker安裝Spark叢集(乾淨不含hadoop等)

https://github.com/mvillarrealb/docker-spark-cluster 1：安裝前準備 Docker 安裝好 Docker compose 安裝好 2：構建映象將 docker-spark-clus

spark-2.2.1在centos7安裝

其他 vra nbsp 生效 src 機器 path scala block 前言在安裝Spark之前，我們需要安裝Scala語言的支持。在此我選擇的是scala-2.11.12版本。 scala-2.11.12下載為了方便，我先在我的hserver1主機上先安裝，

centOS7下Spark安裝配置

節點 bin scala www. emp 讓其 slave park exec 環境說明：操作系統： centos7 64位 3臺 centos7-1 192.168.190.130 master centos7-

大資料之Spark（一）--- Spark簡介，模組，安裝，使用，一句話實現WorldCount，API，scala程式設計，提交作業到spark叢集，指令碼分析

一、Spark簡介 ---------------------------------------------------------- 1.快如閃電的叢集計算 2.大規模快速通用的計算引擎 3.速度: 比hadoop 100x,磁碟計算快10x 4.使用: java

Spark叢集安裝搭建

1.下載Spark Spark是一個獨立的記憶體計算框架，如果不考慮儲存的話，可以完全獨立執行，因此這裡就只安裝Spark叢集 Spark下載地址： http://spark.apache.org/downloads.html 選

CentOS7安裝spark2.0叢集

1、虛擬機器執行環境： JDK： jdk1.8.0_171 64位 Scala：scala-2.12.6&n

centos7安裝redis3.2.5叢集

安裝參照 https://blog.csdn.net/mingliangniwo/article/details/54600640 https://blog.csdn.net/u013820054/article/details/51354189

16、CentOS7 安裝Docker之擴充套件（docker叢集管理叢集之swram）

docker叢集管理之swarm 一、前言實踐中會發現，生產環境中使用單個 Docker 節點是遠遠不夠的，搭建 Docker 叢集勢在必行。然而，面對 Kubernetes, Mesos 以及 Swarm 等眾多容器集群系統，我們該如何選擇呢？它們之中，Swarm 是 Docker 原生

docker 安裝centos7配置hadoop叢集

$ docker pull centos ##檢視下載映象##檢視下載映象 $ doker image ls -a ##啟動容器載入映象,同時進入啟動的容器 $ docker run -it --name centos-1 centos /bin/bash

Linux(centos7) Elasticsearch6.5叢集安裝與Kibana視覺化

必須要先安全JDK1.8或以上版本，記憶體配置1G以上，最好2G https://www.elastic.co/cn/downloads/elasticsearch#ga-release 官網下載tar 上傳到linux 解壓 tar -zxvf elasticsearch-

vmware centOS7.0環境下配置hadoop叢集+spark叢集

從開始玩linux，配置hadoop和spark叢集的過程用了二十多個小時，後面也是進行得越來越順利。在安裝和配置過程中學習和用到的一些網站和部落格，在此分享一下。一、vmware centOS7.0 hadoop jdk hadoop scala spark 安裝包百度網盤分享

centos7 環境安裝rabbitmq 叢集

繼上一篇https://www.cnblogs.com/drafire/p/10062891.html ，這篇部落格繼續介紹centos 7下安裝rabbitmq的叢集。今天在公司搞了一天的rabbitmq，各種牛鬼蛇神的部落格都看過了，終於看到了一遍說得有點模樣的了，廢話不多說，直接上乾貨。

CentOS7安裝spark叢集

相關推薦