2. 程式人生 > >Spark+Hadoop環境搭建

Spark+Hadoop環境搭建

阿新 • • 發佈：2019-01-09

一、工具下載：

1、spark下載

目前最新的是2.1.1，spark 2.0開始api和之前的還是有比較多的變化，因此如果選擇2.0以上版本，最好看一下api變化，下載地址：http://spark.apache.org/downloads.html

2、hadoop下載

3、jdk下載，這個就不多說了，基本很多都用到，不過建議下載1.8以上的，這樣避免出現相容問題 

二、spark和hadoop基本介紹

1、Hadoop

Hadoop是一個開發和執行處理大規模資料的軟體平臺,是Appach的一個用java語言實現開源軟體框架，實現在大量計算機組成的叢集中對海量資料進行分散式計算

Hadoop的核心包括兩塊，一個是map/reduce操作，另一個是HDFS分散式檔案系統，這個檔案系統核心是NameNode和DataNode，前者負責記錄檔案樹形結構，簡單來說就是維護檔案目錄結構，以及每個檔案對應在DataNode中的檔案塊屬性。後者是用作資料儲存用的，舉個例子，如果你往HDFS裡面放入一個檔案，首先經過NameNode將檔案資訊記錄下來，然後將它存放到各個DataNode中

2、Spark

Spark是專為大規模資料處理而設計的快速通用的計算引擎，裡面封裝了很多方便的api呼叫，可以把它看做是Hadoop的補充，雖然hadoop也能進行一些分散式計算，但是spark擁有Hadoop MapReduce所具有的優點；但不同於MapReduce的是Job中間輸出結果可以儲存在記憶體中，從而不再需要讀寫HDFS

三、開始搭建環境

1. 選擇幾個ubuntu的虛擬機器，其中一個作為spark的master節點以及hadoop的    NameNode節點，其他的作為slave節點和DataNode節點

2. 解壓下載的spark和hadoop分別到目錄/home/spark

和/home/hadoop

3. 配置ssh無祕鑰登入

a) Master節點生成公鑰

ssh-keygen -t rsa -P '' #一路回車直到生成公鑰

b) 將master生成的pub拷貝到worker(10.14.66.215)上

    scp/home/master/.ssh/id_rsa.pub

10.14.66.215:/home/worker/.ssh/id_rsa.pub.master

c) 將自己生成的pub新增到授權列表裡

cat /home/master/.ssh/id_rsa.pub >> /home/master/.ssh/authorized_keys

d) worker節點中將master

的pub新增到授權列表裡

    cat /home/worker/.ssh/id_rsa.pub.master >> /home/worker/.ssh/authorized_keys  

4. 配置etc/profile，相當於環境變數

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export SPARK_HOME=/home/spark/spark-2.1.0-bin-hadoop2.6
export HADOOP_HOME=/home/hadoop/hadoop-2.6.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python
export SPARK_SCALA_VERSION=2.11
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin

最後執行source /etc/profile讓配置生效

注意：如果要使用python進行spark程式設計，那麼必須將spark的python路徑加到PYTHONPATH中才行，就像上面的

export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python

另外SPARK_SCALA_VERSION是2.0中需要加入的，因為每次分配任務給worker節點時都會檢查當前的scala編譯版本，沒有這個設定就會報錯找不到build directory，或者可以在SPARK_HOME目錄下建立\launcher\target\scala-2.11空目錄也能解決這個錯誤

5. 配置hadoop和spark的slaves檔案

a) 最好使用機器名作為節點名，下面會提到hadoop這方面的問題

b) 如果使用機器名的話，還需要配置/etc/hosts檔案將對應的機器名和ip繫結

6. 配置hadoop

a) 進入$HADOOP_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_112/

b) $HADOOP_HOME/etc/hadoop/core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop-2.7.3/tmp</value>
  </property>
</configuration>

注意：fs.defaultFS配置了預設的檔案協議，後面程式碼中就預設加上hdfs://master:9000這個字首

c) $HADOOP_HOME/etc/hadoop/hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:50090</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/opt/hadoop-2.7.3/hdfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/opt/hadoop-2.7.3/hdfs/data</value>
  </property>
  <property>
    <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
    <!--在Hadoop 2中，不可以被NameNode解析的DataNode將會被拒絕通訊,如果沒配置這個必須在hadoop/etc/slaves裡面用機器名取代ip地址，然後在/etc/hosts裡面加上這個機器名對應的ip地址-->
    <value>false</value>
  </property>
</configuration>

d) $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:19888</value>
  </property>
</configuration>

e) $HADOOP_HOME/etc/hadoop/yarn-site.xml

<!-- Site specific YARN configuration properties -->
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
  </property>
</configuration>
注意：yarn是作為資源管理器存在，每次提交一個任務時，spark會做兩件事，一個是將程式碼分成多個stage，每個stage相當於一個計算，然後再把stage分成多個task，每個task執行相同的操作，只不過操作的資料不同，這就和之前說的每個DataNode裡面都存放著同一個檔案的不同塊聯絡起來了。然後spark做的另一件事就是向yarn資源管理器請求分配資源，資源管理器通過NodeManager提供的每個節點所在機器的記憶體、CPU等資訊來分配一定的資源給這個任務

f) 最後格式化一下節點：

hdfs  namenode -format -force

注意：如果格式化namenode的時候沒有強制格式化datanode，那麼datanode裡面關於namenode的資訊就還是之前的，這樣就找不到namenode了，所以要麼每次格式化namenode前刪除所有datanode，要麼進行強制的格式化同時格式化namenode和datanode

7. 配置spark-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export HADOOP_HOME=/home/hadoop/hadoop-2.6.1
export SPARK_MASTER_HOST=10.64.66.215
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MERMORY=2G
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_SCALA_VERSION=2.11

注意：配置這些屬性的時候最好根據原始檔裡面註釋裡提供的屬性作為依據，因為不同版本的spark有些屬性可能被廢棄了，如果你按照網上查的去配置的話就會出問題，比如SPARK_MASTER_HOST是2.0才加入的，之前用的是SPARK_MASTER_IP，在2.0已經被廢棄了

8. 拷貝相關檔案到worker節點：

先要修改worker節點的/home目錄為可寫許可權

scp -r /home/hadoop/hadoop-2.6.1 10.14.66.127:/home/hadoop

scp -r /home/spark/spark-2.1.0-bin-hadoop2.7 10.14.66.127:/home/spark

9. 建立hdfs檔案系統

hadoop fs -mkdir -p /Hadoop/Input

hadoop fs -put wordcount.txt /Hadoop/Input

注意：hdfs檔案系統是由namenode來維護目錄結構的，因此你在ubuntu上看不到具體的路徑存放，只能通過hadoop fs命令來檢視

10. 編輯測試程式碼

val file=sc.textFile("hdfs://master:9000/Hadoop/Input/wordcount.txt")
val rdd = file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)
rdd.collect()
rdd.foreach(println)

注意：如果是在ubuntu上，hdfs://master:9000這個字首可以不用加，因為hadoop中配置了預設的字首就是它，但是在window上開發時需要加上

11. 搭建spark開發環境

Hadoop和spark比較適合搭建在ubuntu上，但是我們開發就不方便了，因此我們可以在window上搭建master節點，然後其他的像hadoop和slave節點仍然使用ubuntu上搭建好的就行，具體做法是在window上搭好開發環境後，可以檢視ubuntu上worker節點啟動的log檔案，第一行就是啟動的命令，然後將命令裡的master ip指定為window的ip，最後執行命令就能在那臺ubuntu上啟動一個worker節點了，hadoop完全不用變，因為window上仍然可以使用hdfs檔案指定

相關推薦

Spark+Hadoop環境搭建

一、工具下載： 1、spark下載 目前最新的是2.1.1，spark 2.0開始api和之前的還是有比較多的變化，因此如果選擇2.0以上版本，最好看一下api變化，下載地址：http://spark.apache.org/downloads.html 2、hadoop下載

Spark之路：（一）Scala + Spark + Hadoop環境搭建

一、Spark 介紹 Spark是基於記憶體計算的大資料分散式計算框架。Spark基於記憶體計算，提高了在大資料環境下資料處理的實時性，同時保證了高容錯性和高可伸縮性，允許使用者將Spark部署在大量廉價硬體之上，形成叢集。 1.提供分散式計算功能，將分散式

Hadoop+HBase+Spark+Hive環境搭建

eight 基礎 計算 oracle keygen 結構化 文字 l命令 密鑰 楊赟快跑 簡書作者 2018-09-24 10:24 打開App 摘要：大數據門檻較高，僅僅環境的搭建可能就要耗費我們大量的精力，本文總結了作者是如何搭建大數據環境的（單機版和集

Hadoop+spark+jupyter環境搭建（三）：Pyspark+jupyter部署在Linux

Hadoop+spark+jupyter環境搭建順序請參照：    我們已經實現了Spark  on Yarn的搭建，但我們還希望有一個友好的開發介面，也便於展示成果，因此我們選擇了jupyter。他的本質就是一個 web app，也支援多種語言，完全滿足我們的要求。1.安裝

hadoop環境搭建（linux單機版）

mapred 單機 keygen opts -c 配置 驗證 bsp 服務 一、在Ubuntu下創建hadoop用戶組合hadoop用戶 1、創建hadoop用戶組 addgroup hadoop 2、創建hadoop用戶 adduser -ingrou

CentOS 下 Hadoop 環境搭建--Hadoop

mkdir left res 修改文件 wordcount cat 創建 work tar ---恢復內容開始--- ①解壓Hadoop到自定目錄下面（這裏解壓到/opt/hadoop目錄下） 　　tar -zxvf hadoop-2.5.0.tar.gz -C /opt/

hadoop環境搭建與測試

sla pre person n! count track 查看 4.2 lin 搭建參看： http://blog.csdn.net/w13770269691/article/details/16883663/ 查看集群狀態： [[email pr

hadoop環境搭建

hadoop簡介 hadoop單節點搭建 hadoop偽節點搭建 hadoop分布式 hadoop高可用 一 hadoop 簡介 1 Hadoop 整體框架 Hadoop 由HDFS 、MapReduce、HBASE、hive 和zookeeper 等成員組成，其中最基礎最重要的元素是底層

01_PC單機Spark開發環境搭建_JDK1.8+Spark2.3.1+Hadoop2.7.1

tor 環境 eve exe ring row test source 分享圖片 本文檔基於Windows搭建本地JAVA Spark開發環境。 1 JDK 1.8安裝 官網下載JDK。 註意JDK安裝目錄不可以包含空格，比如：C:\Java\jdk1.8.

【轉】Hadoop學習--第二篇：史上最詳細的Hadoop環境搭建

GitChat 作者：鳴宇淳 原文： 史上最詳細的Hadoop環境搭建 前言 Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的基礎，對Hadoop基礎知識的掌握的紮實程度，會決定在大資料技術道路上走多遠。 這是一篇入門文章，Hadoop的學

hadoop環境搭建過程中遇到Unable to load native-hadoop library for your platform

            hadoop環境搭建完成後，在執行hadoop fs -ls 命令的時候，系統報了一個錯： 17/02/19 07:28:58 WARN util.NativeCode

Spark 開發環境搭建

1.建立maven工程 建立project--Java 建立module--maven 2.新增依賴 <dependencies> <!--spark依賴--> <dependency>

linux xshell jdk hadoop(環境搭建) 虛擬機器 安裝(大資料搭建環境)

【hadoop是2.6.5版本  xshell是6版本 jdk是1.8.0.131 虛擬機器是CentOS-6.9-x86_64-bin-DVD1.iso vmware10】 1.建立虛擬機器 第一步：在VMware中建立一臺新的虛擬機器。如圖2.2所示。 圖2.2 第二步：選擇“自定義安裝

Hadoop環境搭建問題彙總

一、啟動HDFS時dataNode一直沒有啟動 我們執行hdfs啟動命令後，再輸入 jps 命令檢視啟動程序，發現沒有DataNode程序 hadoop namenode -format sbin/start-dfs.sh 原因 當我們使用 hadoop n

【Spark核心原始碼】Spark原始碼環境搭建

目錄 準備條件 下載spark原始碼，並解壓 開啟spark原始碼下的pom.xml檔案，修改對應的java和intellij裡的maven版本 開啟intellij，Inport Project，將原始碼匯入intellij中 問題總結（十分重要） Maven編譯打包前的準

Spark開發環境搭建（IDEA、Maven）

在搭建開發環境之前，請先安裝好scala開發環境和spark： scala：https://blog.csdn.net/qq_39429714/article/details/84332869 spark：https://blog.csdn.net/qq_39429714/article/d

Spark叢集環境搭建

本文作者：賀聖軍，叩丁狼高階講師。原創文章，轉載請註明出處。 現在在大資料的生態圈的離線的處理主要使用的是MapReduce和Hive技術,但是對於實時處理分析,越來越多的企業使用的Spark作為企業的記憶體處理計算框架,相對於MapReduce,Spark主要有以下一些特

hadoop環境搭建之安裝JDK

判斷是否安裝了jdk 使用java -version 和 javac命令判斷是否安裝了jdk [[email protected] .ssh]# java -version -bash: java: command not found [

Spark叢集環境搭建中所遇到的問題

1. 安裝好JDK後，檢視java版本出現以下提示：         解決方法：在終端輸入以下兩條命令：       (1)  sudo update-alternatives --install /usr/bin/javac javac /home/fhb/spark

大資料學習系列之一 ----- Hadoop環境搭建(單機)

一、環境選擇 1，伺服器選擇 阿里雲伺服器:入門型(按量付費) 作業系統:linux CentOS 6.8 Cpu：1核 記憶體：1G 硬碟:40G ip:39.108.77.250 2，配置選擇 JDK:1.8 （jdk-8u144-linux-x64.tar.gz