centos+scala2.11.4+hadoop2.3+spark1.3.1環境搭建

阿新 • • 發佈：2022-05-04

一、Java安裝

1、安裝包準備：

首先到官網下載jdk，http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html，我下載jdk-7u79-linux-x64.tar.gz，下載到主目錄

2、解壓安裝包

通過終端在/usr/local目錄下新建java資料夾，命令列：

sudo mkdir /usr/local/java

然後將下載到壓縮包拷貝到java資料夾中，命令列：

進入jdk壓縮包所在目錄

cp jdk-7u79-linux-x64.tar.gz /usr/local/java

然後進入java目錄，命令列：

cd /usr/local/java

解壓壓縮包，命令列：

sudo tar xvf jdk-7u79-linux-x64.tar.gz

然後可以把壓縮包刪除，命令列：

sudo rm jdk-7u79-linux-x64.tar.gz

3、設定jdk環境變數

這裡採用全域性設定方法，就是修改etc/profile，它是是所有使用者的共用的環境變數

sudo vi /etc/profile

開啟之後在末尾新增

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export JRE_HOME=/usr/local/java/jdk1.7.0_79/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin: $PATH

使profile生效

source /etc/profile

4、檢驗是否安裝成功

在終端

java -version

顯示如下

java version "1.7.0_79" Java(TM) SE Runtime Environment (build 1.7.0_79-b15) Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

PS:後來發現直接rpm包jdk-7u79-linux-x64.rpm桌面雙擊安裝也OK，^_^

二、scala2.11.4安裝

1、安裝包準備：

首先到官網下載scala，http://www.scala-lang.org/

，下載scala-2.11.4.tgz，並複製到/usr/bib

2、解壓安裝包

tar -zxf scala-2.11.4.tgz

3、設定scala環境變數

這裡採用全域性設定方法，就是修改etc/profile，它是是所有使用者的共用的環境變數

sudo vi /etc/profile

開啟之後在末尾新增

export SCALA_HOME=/usr/lib/scala-2.11.4 export PATH=$SCALA_HOME/bin:$PATH

使profile生效

source /etc/profile

4、檢驗是否安裝成功

在終端

scala -version

顯示如下

三、hadoop2.3安裝

1、安裝包準備：

hadoop版本有點混亂，除了http://hadoop.apache.org/有眾多版本之外，還有Cloudera公司的CDH版本，請從觀望下載hadoop-2.3.0.tar.gz或者下載CDH版本hadoop-2.3.0-cdh5.0.0.tar.gz，本文環境是在hadoop-2.3.0-cdh5.0.0.tar.gz之上建立。

2、解壓安裝包

下載安裝包之後複製到/usr目錄。

tar -zxf hadoop-2.3.0-cdh5.0.0.tar.gz

解壓後生成hadoop-2.3.0-cdh5.0.0，重新命名為hadoop-2.3.0。

3、配置環境

這裡採用全域性設定方法，就是修改etc/profile，它是是所有使用者的共用的環境變數

sudo vi /etc/profile

開啟之後在末尾新增

export HADOOP_HOME=/home/zero/hadoop/hadoop-2.3.0

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使profile生效

source /etc/profile

3、建立hadoop使用者

useradd hadoop

passwd hadoop

3、配置SSH免登入

su hadoop //切換到hadoop使用者目錄下

ssh-keygen-t rsa(一路回車生成金鑰)

cd/home/hadoop/.ssh/

scp id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/

mv id_rsa.pub authorized_keys

四、spark1.3.1安裝

1、安裝包準備：

spark官網下載spark-1.3.1-bin-hadoop2.3.tgz。

2、解壓安裝包

下載安裝包之後複製到/usr目錄。

tar -zxf spark-1.3.1-bin-hadoop2.3.tgz

解壓後生成spark-1.3.1-bin-hadoop2.3，重新命名為spark-1.3.1-hadoop2.3。

3、配置環境

這裡採用全域性設定方法，就是修改etc/profile，它是是所有使用者的共用的環境變數

sudo vi /etc/profile

開啟之後在末尾新增

export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3 export PATH=$SPARK_HOME/bin:$PATH

使profile生效

source /etc/profile

4、配置環境

這裡採用全域性設定方法，就是修改etc/profile，它是是所有使用者的共用的環境變數

sudo vi /etc/profile

開啟之後在末尾新增

export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3 export PATH=$SPARK_HOME/bin:$PATH

使profile生效

source /etc/profile

配置Spark環境變數

cd $SPARK_HOME/conf cp spark-env.sh.template spark-env.sh

vi spark-env.sh 新增以下內容：

export JAVA_HOME=/usr/local/java-1.7.0_79
export HADOOP_HOME=/usr/hadoop-2.3.0

export HADOOP_CONF_DIR=/etc/hadoop/conf
export SCALA_HOME=/usr/lib/scala-2.11.4
export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
 
export SPARK_WORKER_CORES=3 //每個Worker使用的CPU核數
export SPARK_WORKER_INSTANCES=1 //每個Slave中啟動幾個Worker例項
export SPARK_WORKER_MEMORY=10G //每個Worker使用多大的記憶體
export SPARK_WORKER_WEBUI_PORT=8081 //Worker的WebUI埠號
export SPARK_EXECUTOR_CORES=1 //每個Executor使用使用的核數
export SPARK_EXECUTOR_MEMORY=1G //每個Executor使用的記憶體

export SPARK_CLASSPATH=/usr/spark-1.3.1-hadoop2.3/lib/sequoiadb-driver-1.12.jar:/usr/spark-1.3.1-hadoop2.3/lib/spark-sequoiadb_2.11.2-1.12.jar //使用巨衫資料庫 export SPARK_CLASSPATH=$SPARK_CLASSPATH:$CLASSPATH export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/nativ

配置Slave

cp slaves.template slaves vi slaves 新增以下內容： localhost

5、啟動Spark Master

cd $SPARK_HOME/sbin/ ./start-master.sh

6、啟動Spark Slave

cd $SPARK_HOME/sbin/ ./start-slaves.sh