雲主機的linux(CentOs)系統上搭建spark單機環境
1.準備工作
(1)安裝工具包(自行下載)
(2)window與linux連線操作軟體(自行下載)
(3)統一安裝路徑
所有安裝包我放在 /home/study/spark/package 目錄下
所有安裝我均安裝在 /home/study/spark 目錄下
2.在/home/study/spark下安裝JDK,並修改環境變數
(1)sudo vi /etc/profile
注:因為修改許可權的問題需要sudo執行,否則可能會出現不能儲存的問題
export JAVA_HOME=/home/study/spark/jdk1.8.0_111/ export JRE_HOME=/home/study/spark/jdk1.8.0_111/jre export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
(2)儲存更新 /etc/profile 檔案
source /etc/profile
(3)檢測是否安裝成功
java -version
3..在/home/study/spark下安裝Hadoop,並修改環境變數
cd /home/study/spark
tar -xzvf ./package/hadoop-2.6.0.tar.gz
(1)sudo vi /etc/profile,加入Hadoop變數
export HADOOP_HOME=/home/study/spark/hadoop-2.6.0 export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
(2)修改/home/study/spark/hadoop-2.6.0/etc/hadoop/hadoop-env.sh 配置檔案
cd /home/study/spark/hadoop-2.6.0/etc/hadoop
vi hadoop-env.sh
在檔案最後加入Java環境
export JAVA_HOME=/home/study/spark/jdk1.8.0_111/
(3)修改/home/study/spark/hadoop-2.6.0/etc/hadoop下的其他配置檔案
①修改:core-site.xm
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration
②修改 hdfs-site.xm
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value> # 配置的備份方式,在單機hadoop中,設定為1(預設為3)
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/study/spark/hadoopdata/hdfs/namenode</value>
</property> #這裡路徑要換成自己資料存放路徑
<property>
<name>dfs.data.dir</name>
<value>file:///home/study/spark/hadoopdata/hdfs/datanode</value>
</property> #這裡路徑要換成自己資料存放路徑
</configuration>
③修改 mapred-site.xml
注:若沒有mapred-site.xml檔案,將 mapred-site.xml.template檔案重新命名為mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
④修改 yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
(4)初始化hadoop(在bin目錄下hdfs)
cd /home/study/spark/hadoop-2.6.0/bin
./hdfs namenode -format
(5)啟動Hadoop
cd /home/study/spark/hadoop-2.6.0/sbin
./start-all.sh
(6)停止Hadoop
cd /home/study/spark/hadoop-2.6.0/sbin
./stop-all.sh
(7)jps檢視後臺程序
注:截圖中出現master是因為,寫帖子時已安裝完spark
(8)window下瀏覽器中開啟埠,如http://xxx.xxx.xxx.xxx:8088
注:本文實在雲主機上搭建的,故xxx.xxx.xxx.xxx為雲主機的ip地址,如果本地可為localhost或者127.0.0.1
(9)其他埠
port 8088: cluster and all applications
port 50070: Hadoop NameNode
port 50090: Secondary NameNode
port 50075: DataNode
4.安裝scala
(1)解壓scala,安裝/home/study/spark目錄
cd /home/study/spark
tar -xzvf ./package/scala-2.10.6.tgz
sudo vi /etc/profile
(2)在 /etc/profile 檔案下,新增scala環境變數
export SCALA_HOME=/home/study/spark/scala-2.10.6
export PATH=$SCALA_HOME/bin:$PATH
(3)儲存更新 /etc/profile
source /etc/profile
(4)檢測
scala -version
5.在/home/study/spark下安裝spark
(1)解壓,並通過mv指令修改spark-2.0.1-bin-hadoop2.7檔名為 spark-2.0.1
cd /home/study/spark
tar -xzvf ./package/spark-2.0.1-bin-hadoop2.7.tgz
mv spark-2.0.1-bin-hadoop2.7 spark-2.0.1
sudo vi /etc/profile
(2)在 /etc/profile 檔案中新增環境變數
export SPARK_HOME=/home/study/spark/spark-2.0.1
export PATH=$SPARK_HOME/bin:$PATH
(3)儲存更新 /etc/profile
source /etc/profile
(4)
在/home/study/spark/spark-2.0.1/conf目錄下複製並重命名 spark-env.sh.template 為 spark-env.sh :
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
在 spark-env.sh 中新增:
export JAVA_HOME=/home/study/spark/jdk1.8.0_111/
export SCALA_HOME=/home/study/spark/scala-2.10.6
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=1G
- 啟動spark
cd /home/study/spark/spark-2.0.1/sbin
./start-all.sh
停止spark
cd /home/study/spark/spark-2.0.1/sbin
./stop-all.sh
(5)window下瀏覽器中開啟埠,如http://xxx.xxx.xxx.xxx:8088
注:本文實在雲主機上搭建的,故xxx.xxx.xxx.xxx為雲主機的ip地址,如果本地可為localhost或者127.0.0.1
6.測試spark
相關推薦
雲主機的linux(CentOs)系統上搭建spark單機環境
1.準備工作 (1)安裝工具包(自行下載) (2)window與linux連線操作軟體(自行下載) (3)統一安裝路徑 所有安裝包我放在 /home/study/spark/package 目錄下 所有安裝我均安裝在 /home/study/spark 目錄
在阿里雲上搭建spark分散式環境。
參考資料:(我覺的參考資料比我的更重要,所以它在前面。)http://www.mak-blog.com/spark-on-yarn-setup-multinode.html張丹陽. 阿里雲實現Spark的分散式計算https://www.cnblogs.com/freeweb
MAC系統上搭建NodeJS開發環境
1)安裝NodeJS 在官網(https://nodejs.org/en/)下載pkg包,我下載的版本為6.9.5,大小為15.5M。下載的安裝包雙擊下一步安裝即可。 可以在終端中檢視是否成功安裝nodejs 這樣我們就安裝好了node和npm工具,
Spark之Ubuntu18上安裝Spark單機環境
開發十年,就只剩下這套架構體系了! >>>
阿裏雲CentOS Linux服務器上搭建郵件服務器遇到的問題
down http bsp 資料 arc tail 但是 style -h 參考文章: 阿裏雲CentOS Linux服務器上用postfix搭建郵件服務器 Linux系統下郵件服務器的搭建(Postfix+Dovecot) 本來想自己搭建郵件服務器,但是看到一篇資料表
VirtulBox虛擬機搭建Linux Centos系統
流量 -- span 名稱 ftp 註意 img blank style 簡要說明 該文章目的是基於搭建hadoop的前置文章,當然也可以搭建Linux的入門文章。那我再重復一下安裝準備軟件。 環境準備: http://pan.baidu.com/s/1dFrH
Linux——在centos伺服器上搭建一個ftp服務
安裝FTP服務 安裝 yum install -y vsftpd 啟動 service vsftpd start 嘗試訪問訪問 ftp://ip可瀏覽機器上的pub目錄了,該目錄為伺服器上/var/ftp/pub/。 配置許可權配置 FTP 許可權 vsf
阿里雲linux centos系統安裝rabbitMQ
需要先安裝EPEL yum install epel-release yum install yum-priorities cd /opt wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch
雲伺服器linux centos初次搭建java環境
直接進入主題: 1、防火牆 2、Apache 3、jdk 4、tomcat 5、mysql 6、埠開放 一、防火牆的配置 1、安裝防火牆 命令:yum install iptables-services 2、安裝成功後 編輯防火牆配置檔案 命令
Linux Centos上搭建rtmp直播環境Android上實現推流
本文目的: 在VPS伺服器上配置一個直播環境,在Android&IOS客戶端實現,直播推流到伺服器上,在任意播放器上實現,拉取伺服器上的流觀看直播。(附android原始碼) 伺服器環境: LSB Version: :core-4.1-amd64:core-
tigase7.1.0 伺服器在centos上搭建spark測試
5.1修改 vi ./conf/tigase.confJAVA_HOME="${JAVA_HOME}" 如果不知道如何設定JAVA_HOME請自行百度5.2修改./conf目錄下的init.properties檔案config-type=--gen-config-def [email prote
在linux(CentOS)上搭建git伺服器和配置gitolite許可權管理
什麼是git伺服器?我覺得其實就是集中存放git倉庫的伺服器,只不過這些git倉庫要對外開放,讓其他人來連線和push程式碼。 當前伺服器上集中管理的git倉庫不是使用git init來建立的,而是使用git --bare init來建立的空白倉庫,建立很簡單,關鍵是如何管
區塊鏈探索一(在阿裏雲Ubuntu系統上搭建一個以太坊)
data get date 阿裏 highlight The pro bubuko posit 測試機為阿裏雲主機 1.升級apt sudo apt-get update sudo apt-get -f install 2.安裝git sudo
如何在遠程Linux服務器上搭建Nginx
http -i fig 手動 ges 密碼 技術分享 text cal 首先得申明一下使用的工具有: 1. putty https://pan.baidu.com/s/1i4Ix8Hn 2. fileZilla https://pan.baidu.com/s/
如何在Linux操作系統下搭建配置流媒體服務器系統
Linux 流媒體系統 鑒於服務器端的安全性因素,更多的網絡管理員更願意在Linux操作系統下搭建流媒體服務器系統進行互聯網的實時直播和點播。那麽如何在Linux操作系統下安裝和配置流媒體服務器系統呢?下面是詳細的安裝配置說明。(以八百裏流媒體服務器系統的Linux的安裝和配置為例說明)
Linux Centos 6.6搭建SFTP服務器
ftp上傳 ews enforce 末尾 article pla 上傳文件 x11 forward 在Centos 6.6環境使用系統自帶的internal-sftp搭建SFTP服務器。 打開命令終端窗口,按以下步驟操作。 0、查看openssh的版本
Hadoop Shell命令(基於linux操作系統上傳下載文件到hdfs文件系統基本命令學習)
指南 統計信息 ... err nor 清空 ext -- als Apache-->hadoop的官網文檔命令學習:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 調用文件系統
Redis實戰(二)CentOS 7上搭建redis-3.0.2
str 進程 ps 禁用 安裝redis 結果 redis 啟動服務 pro bin 1.安裝redis wget http://download.redis.io/releases/redis-3.0.2.tar.gz tar zxvf redis-3.0.2.tar
Linux CentOS6.5上搭建環境遇到的問題
warn 主機名 span his 不為 rpm mysqld password oca 1.卸載CentOS自帶的JDK 查看centos上 安裝的jdk:rpm -qa|grep jdk 出現如下: java-1.7.0-openjdk-1.7.0.45-