2. 程式人生 > >spark 環境搭建及幾種模式測試

spark 環境搭建及幾種模式測試

阿新 • • 發佈：2018-12-04

spark 環境搭建及幾種模式測試
spark安裝部署spark安裝前的環境準備

需要安裝jdk、scala、hadoop作為前提環境。

1、安裝jdk1.7

先解除安裝自帶的jdk，防止自帶的jdk和安裝的出現衝突。而且自帶的版本較低不能滿足現在軟體對jdk的要求。

使用如下命令：

rpm –qa | grep java 用來查詢有多少幾個版本的java，我的電腦為例表示裝了兩個java

需要解除安裝1.7的jdk，1.6系統使用，不允許解除安裝

rpm -e java-1.7.0。45-2.4.3.3.el6.x86_64

安裝jdk1.7

在使用者的環境變數中新增jdk目錄即可

使用如下命令vi ~/.bash_profile

本地圖片，請重新上傳

新增如下資訊

export JAVA_HOME=/usr/jdk1.7.0_25

export PATH= H O M E / b

i n : JAVA_HOME/bin:$PATH

使配置檔案生效source ~/.bash_profile

使用java -version檢查jdk的版本號是否和自己安裝的一致

本地圖片，請重新上傳

2、安裝scala

在使用者下的環境變數中新增scala的目錄即可

export SCALA_HOME=/usr/scala-2.10.4

export PATH=

H O M E / b i n : JAVA_HOME/bin: P A T H : SCALA_HOME/bin

本地圖片，請重新上傳

4 安裝hadoop2.6

1、新增java主目錄位置，hadoop的底層是使用java開發，所以hadoop框架和程式的執行需要能夠找到java的環境。在hadoop的如下三個檔案配置即可。

vi hadoop-env.sh

先把之前的java的環境變數去掉，重新寫自己安裝的jdk

export JAVA_HOME=/usr/jdk1.7.0_25/

本地圖片，請重新上傳

vi mapred-env.sh，直接修改把原來等號之後的去掉，填上自己的環境變數

export JAVA_HOME=/usr/jdk1.7.0_25/

本地圖片，請重新上傳

vi yarn-env.sh 修改yarn的java的環境變數

export JAVA_HOME=/usr/jdk1.7.0_25/

本地圖片，請重新上傳

同時新增hadoop的環境變數到linux的使用者的環境變數中，但是hadoop和其他不同需要配置bin和sbin目錄

export JAVA_HOME=/usr/jdk1.7.0_25

export HADOOP_HOME=/usr/hadoop-2.6.0

export SCALA_HOME=/usr/scala-2.10.4

export PATH= H O M E / b i n : JAVA_HOME/bin: P A T H : SCALA_HOME/bin: H A D O O P H O M E / b i n : HADOOP_HOME/sbin

本地圖片，請重新上傳

配置hadoop的core-site.xml檔案

vi /usr/hadoop-2.6.0/etc/hadoop/core-site.xml

<property>

    <name>hadoop.tmp.dir</name>

    <value>/usr/hadoop-2.6.0/data/tmp</value>

</property>

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://localhost:9000</value>

</property>

3，配置hadoop的hdfs-site.xml檔案

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

4，配置hadoop的mapred-site.xml檔案

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

5，配置hadoop的yarn-site.xml檔案

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>dandu</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

6，配置hadoop的slaves配置

vi /usr/hadoop-2.6.0/etc/hadoop/slaves

dandu//主機名：nodemanager和datanode地址

Hadoop的單機模式配置完成。下面就可以格式化並且開啟hadoop了。

7，格式化namenode

bin/hdfs namenode -format

本地圖片，請重新上傳

8、開啟hadoop叢集

已經配置了環境變數直接使用start-all.sh命令即可，在開啟的過程中需要多次的輸入密碼，因為沒有做SSH互信機制。確定全部程序開啟完畢後，使用命令JPS檢視，出現6個程序，如圖：

本地圖片，請重新上傳

可以使用hadoop fs -mkdir ….建立資料夾。並且使用hadoop fs -ls /檢視

本地圖片，請重新上傳

3，spark幾種模式的安裝部署

1 spark本地模式的安裝

最簡單的模式，不需要安裝spark即可使用，但是是單機模式，只能作為測試或者學習臨時使用。
1，直接執行

bin/spark-shell

本地圖片，請重新上傳
2、spark的webAPP端檢視，直接開啟網頁，輸入開啟的spark的主機名加預設埠號4040即可

http://dandu:4040

本地圖片，請重新上傳
3，在linux中新建檔案me.txt，編寫內容，使用spark來載入檔案

val test = sc.textFile(“README.md”)

本地圖片，請重新上傳

表示已經載入成功
4、使用count，進行單詞

test.count()

本地圖片，請重新上傳

res1: Long=1表示檔案只有一行內容。
5，使用first來讀取檔案的第一行內容。

test.first()

本地圖片，請重新上傳
6，使用filter過濾檔案的內容。

val lines = test.filter(line => line.contains(“ag”))

本地圖片，請重新上傳

已經統計完成但是沒有輸出結果。可以進行統計一下總共有多少

本地圖片，請重新上傳

也可以把兩次內容寫在一起test.filter(line => line.contains(“ag”)).count()

本地圖片，請重新上傳

相對複雜計算，如下表示首先把載入的檔案使用map運算元，在運算元內使用匿名函式把資料按照空格切分，在使用size求出分割後的單詞字母數量。Map的內容做完後交給reduce運算元，在reduce內使用匿名函式進行判斷大小，最終結果得到文章內的單詞最大值

test.map(line => line.split(” “).size).reduce((a, b) => if (a > b) a else b)

本地圖片，請重新上傳

繼續使用Math的運算，如下表示：首先匯入java的Math包，把資料首先給map處理，map內使用匿名函式，把資料按照空格進行分割，並使用size統計字母數，map處理完後給reduce，reduce內有一個匿名函式，匿名函式使用了Math的max來求最大最小值。

import java.lang.Math

test.map(line => line.split(” “).size).reduce((a, b) => Math.max(a, b))

本地圖片，請重新上傳

繼續做hadoop的wordcount，hadoop使用了六十行左右的程式碼，完成了一個單詞統計，在spark裡大大超出了我們的想象，只需要一行程式碼即可完成。

如下表示：定義一個常量wordCounts，把載入的test交給flatMap處理，flatMap內有一個匿名函式，匿名函式內表示把test的內容按照空格進行分割，所有處理好後交給map處理，map內有一個匿名函式，匿名函式表示把妹一個單詞都變成單詞和1的形式，然後交給reduceByKey（按照key進行統計），內有一個匿名函式，匿名函式表示進來的所有的數進行累加。

val wordCounts = test.flatMap(line => line.split(” “)).map(word => (word, 1)).reduceByKey((a, b) => a + b)

本地圖片，請重新上傳

已經計算完成，但是沒有輸出結果，需要如下運算元進行輸出。

wordCounts.collect()

本地圖片，請重新上傳

2 spark standalone模式的安裝

本地圖片，請重新上傳

1，配置spark-env.sh

HADOOP_CONF_DIR=/usr/hadoop-2.6.0/etc/hadoop

JAVA_HOME=/usr/jdk1.7.0_25/

SCALA_HOME=/usr/scala-2.10.4/

SPARK_MASTER_IP=dandu

SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8080

SPARK_WORKER_CORES=1

SPARK_WORKER_MEMORY=1500m

SPARK_WORKER_PORT=7078

SPARK_WORKER_WEBUI_PORT=8081

SPARK_WORKER_INSTANCES=1

2，配置spark-defaults.conf

spark.master spark://dandu:7077

3，配置slaves

dandu

4，使用如下命令啟動spark，啟動完成後使用jps檢視程序，可以看到多了兩個程序Master和Worker

sbin/start-master.sh

sbin/start-slaves.sh

本地圖片，請重新上傳

使用 bin/spark-shell –master spark://dandu:7077開啟shell視窗，或者# bin/spark-shell –master local

本地圖片，請重新上傳

5，命令測試

使用如下命令測試，計算PI的值

/bin/spark-submit –class org.apache.spark.examples.SparkPi –master local examples/jars/spark-examples_2.11-2.1.2.jar

經過運算得到如下結果

本地圖片，請重新上傳

val wordcount = sc.textFile(“file:///testSpark/me.txt”).flatMap(x=>x.split(” “)).map(x=>(x,1)).reduceByKey((a,b)=>a+b).collect()

本地圖片，請重新上傳

如下命令皆可使用叢集測試。

val word1 = textFile.flatMap(x=>x.split(” “)).map(x=>(x,1)).reduceByKey((a,b)=>a+b).sortByKey(true).collect()

val word2 = textFile.flatMap(x=>x.split(” “)).map(x=>(x,1)).reduceByKey((a,b)=>a+b).map(x=>(x._2,x._1)).sortByKey(false).collect()

sc.textFile(“hdfs://spark.learn.com:8020/user/cyhp/spark/wc.input”).flatMap(.split(” “)).map((,1)).reduceByKey(_ + _).collect

注意：遇到如下問題的解決方式

本地圖片，請重新上傳

1、叢集的主機名和/etc/hosts能夠對應

2、確保防火牆關閉

確保有足夠大的記憶體，如果記憶體不夠，spark-env.sh的配置項SPARK_WORKER_MEMORY=1500m就不能夠滿足executor執行的使用。

在叢集執行的時候可以登入網頁檢視執行的詳細情況

此時http://dandu:8080/可以登入web瀏覽器訪問，如下：

本地圖片，請重新上傳

5.7 spark-shell執行在YARN上

HADOOP_CONF_DIR=/usr/hadoop-2.6.0/etc/hadoop/

export SPARK_EXECUTOR_MEMORY=1024M

export YARN_CONF_DIR=/usr/hadoop-2.6.0/etc/hadoop

JAVA_HOME=/usr/jdk1.7.0_25/

SCALA_HOME=/usr/scala-2.10.4/

SPARK_MASTER_IP=dandu

SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8080

SPARK_WORKER_CORES=1

SPARK_WORKER_MEMORY=1500m

SPARK_WORKER_PORT=7078

SPARK_WORKER_WEBUI_PORT=8081

SPARK_WORKER_INSTANCES=1

（1）執行在yarn-client上
執行命令spark-shell –master yarn –deploy-mode client，稍等片刻即可看到如下輸出。

[[email protected] ~]# spark-shell –master yarn –deploy-mode client

本地圖片，請重新上傳

說明：從上面的spark-shell日誌中看到spark-shell –master yarn-client命令從Spark2.0開始廢棄了，換成spark-shell –master yarn –deploy-mode client。

（2）雖然已經開啟但是明視訊記憶體在問題
由於是在虛擬機器上執行，虛擬記憶體可能超過了設定的數值。在執行命令spark-shell –master yarn-client時可能報錯，異常資訊如下。

本地圖片，請重新上傳

以上為開啟過程中產生的問題

解決辦法1：
先停止YARN服務，然後修改yarn-site.xml，增加如下內容

    <name>yarn.nodemanager.vmem-check-enabled</name>

    <value>false</value>

</property>

<property>

    <name>yarn.nodemanager.vmem-pmem-ratio</name>

    <value>4</value>

將新的yarn-site.xml檔案分發到其他Hadoop節點對應的目錄下，最後在重新啟動YARN。
再執行spark-shell –master yarn-client命令時，就不會報上面異常了。

解決辦法2：

如果以上辦法沒有解決該問題，那麼增大spark-env.sh的executor和worker的記憶體

下圖為記憶體分別增大後的效果，沒有出現任何警告或者異常，問題的原因是這是JVM申請的memory不夠導致無法啟動SparkContext，

想要了解更多請加QQ：773640911

相關推薦

spark 環境搭建及幾種模式測試

spark 環境搭建及幾種模式測試 spark安裝部署spark安裝前的環境準備 需要安裝jdk、scala、hadoop作為前提環境。 1、安裝jdk1.7 先解除安裝自帶的jdk，防止自帶的jdk和安裝的出現衝突。而且自帶的版本較低不能滿足現在軟體對jdk的要求。 使用

Spark spark-submit 提交的幾種模式

local 模式 程式碼 package com.imooc.spark.Test import org.apache.spark.sql.types.{StringType, StructField, StructType} import org

Spark各種模式的環境搭建及相關工作流程介紹

1前言 本篇部落格主要記錄的是Spark的3種執行模式及對應的模式環境搭建過程和流程介紹。3種模式都是經過實踐記錄詳細的操作過程和注意事項。 在進行環境的配置過程中，建議先理解每個模式下的工作流程，然後再進行環境搭建，這樣容易加深理解。由於Spark on

Ubuntu下kafka集群環境搭建及測試

delet 指定 文件中 新增 img --delete replicat pro alt 1，解壓 root@Ubuntu-1:/usr/local# tar zxvf kafka_2.11-0.8.2.2.tgz 2，重命名 root@Ubuntu-1:/usr/

運行Spark程序的幾種模式

etc 屏幕 角色 ast java_home enabled driver env ram 一. local 模式 -- 所有程序都運行在一個JVM中，主要用於開發時測試 無需開啟任何服務，可直接運行 ./bin/run-example 或 ./bin/spark-

Tomcat 設置虛擬路徑US現金盤平臺搭建的幾種方法及為什麽設置虛擬路徑

重新啟動 根目錄 主機 安裝目錄 修改方法 為什麽 webapps 說了 () 很多朋友US現金盤平臺搭建論壇：haozbbs.com Q1446595067 都會很疑惑，既然我們都知道在Tomcat服務器上部署項目只要將項目打包，然後放到webapps目錄下就可以了，為什

Spark編程環境搭建及WordCount實例

enter 默認 自己 apache block 編程 mar compile edi 基於Intellij IDEA搭建Spark開發環境搭建 　基於Intellij IDEA搭建Spark開發環境搭——參考文檔 　　● 參考文檔h

spark JAVA 開發環境搭建及遠程調試

soft 匯總 bubuko tab 2.7 cati builder hadoop2.7 本地 spark JAVA 開發環境搭建及遠程調試 以後要在項目中使用Spark 用戶昵稱文本做一下聚類分析，找出一些違規的昵稱信息。以前折騰過Hadoop，於是看了下Spark官網

spark JAVA 開發環境搭建及遠端除錯

spark JAVA 開發環境搭建及遠端除錯 以後要在專案中使用Spark 使用者暱稱文字做一下聚類分析，找出一些違規的暱稱資訊。以前折騰過Hadoop，於是看了下Spark官網的文件以及 github 上 官方提供的examples，看完了之後決定動手跑一個文字聚類的demo，於是有了下文。 1. 環境

Ubuntu 14.04 Caffe和TensorFlow的ARM NN SDK編譯環境搭建及MNIST程式測試

Ubuntu 14.04下Caffe和TensorFlow的ARM NN SDK的aarch64編譯環境搭建及MNIST程式測試 ARM官方測試環境 1. SCons安裝 2.安裝CMake 3.下載安裝boost 4.使用 S

Spark環境搭建（多種模式）

個人部落格原文連結 Spark環境的搭建相比於Hadoop叢集的搭建還是比較簡單的，而且跟Hadoop叢集的搭建流程也很相似，只是沒有Hadoop叢集那麼多的配置檔案要修改。本文中，我將詳細介紹Spark的本地模式、Standalone模式（偽分佈）、Standalone模式（全分佈）、

spark的幾種模式的比較

在spark的學習中，spark一共有四種模式，分別是： spark基於local spark基於standalone spark基於yarn spark基於metsos   Standalone模式兩種提交任務方式 Standalone-cli

Hibernate學習——測試環境搭建及配置檔案書寫是否正確

測試程式碼： @Test public void testfun1() { // 建立讀取配置檔案類 Configuration cf = new Configuration(); // 讀取配置檔案 cf.configure(); // 建立SessionFacto

計算利器Spark——Spark的Standalone環境搭建及使用

轉載請註明出處：http://blog.csdn.net/dongdong9223/article/details/84836391 本文出自【我是幹勾魚的部落格】 Ingredients： Java：Java SE Development Kit 8u1

Python gRPC 環境搭建及測試

小白一枚，啥也不懂，直接上手，雖然不知道我在幹什麼，但是我執行成功了，手動哈哈哈。。。 安裝： gRPC 的安裝： $ pip install grpcio 安裝 ProtoBuf 相關的 python 依賴庫： $ pip install protobuf

SFTP伺服器端-freeSSHd環境搭建及java連線測試

  因工作中需要使用SFTP上傳下載的功能，所以打算自己搭建一個SFTP伺服器用來測試（幾年前搭建過一次，忘了，現在回顧一下）。 下載下來之後直接選擇目錄安裝即可。 安裝完成開啟設定： 設定完成後啟動server 這樣我們的SFTP伺服器就

hadoop系列之偽分散式環境搭建及測試驗證

Hadoop2.x 偽分散式環境搭建及測試驗證 作者：Dennis 日期：2018-08-09 前置條件： Linux 虛擬機器一臺，版本為 CentOS 7.4，假設 IP 地址為 192.168.159.181，並修改如下： 修改/etc/hostname 的

Hadoop系列之完全分散式環境搭建及測試驗證

前置條件： 已製作好CentOS 虛擬機器模板。 該模板安裝好Oracle JDK，且 JAVA_HOME 值為/usr/java/jdk1.8.0_171-amd64/jre。 準備三臺虛擬機器 搭建完全 Hadoop 分散式最少需要三臺伺服器，假設三臺伺服器

monkey測試環境搭建 及 操作步驟

1.環境搭建 　　a.下載安卓SDK   　　連結：https://pan.baidu.com/s/1-OB6UVPvl5-N-vFdykfMmA 　　提取碼：3spx   　　b.配置環境變數（配置完成，重啟系統，配置生效）     　　c.測試

kafka使用筆記-基於SASL認證的kafka偽叢集windows環境搭建及測試

繼 基於SASL認證的kafka偽叢集linux環境搭建及測試 之後，由於環境的問題，需要在windows平臺搭建同樣的一個基於sasl認證的kakfa偽叢集環境。本次同樣使用的是 kafka_2.10-0.10.1.0.tgz 版本的kafka，整合zookeeper。只需要對此進行配