Spark 1.6.1 單機安裝配置
本文將介紹Apache Spark 1.6.1在單機的部署,與在叢集中部署的步驟基本一致,只是少了一些master和slave檔案的配置。
http://blog.csdn.net/u011513853/article/details/52865076 Spark在Windows下的環境搭建
1、Spark的安裝準備
Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.1 usesScala 2.10. You will need to use a compatible Scala version (2.10.x).
下載spark
點選開啟連結 http://spark.apache.org/downloads.html
備註:我選擇的是基於hadoop2.6的spark1.6.1的編譯版本
2.安裝jdk
cd /usr/app
$ tar -xzvf jdk-7u79-linux-x64.tar.gz
$ sudo vim /etc/profile
編輯/etc/profile檔案,在最後加上java環境變數:
export JAVA_HOME=/usr/app/jdk1.7 export JRE_HOME=/usr/app/jdk1.7/jre export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
儲存並更新
/etc/profile
:$ source /etc/profile
檢視是否成功:
$ java -version
3.配置ssh localhost
確保安裝好ssh:
$ sudo apt-get update
$ sudo apt-get install openssh-server
$ sudo /etc/init.d/ssh start
生成並新增金鑰:$ ssh-keygen -t rsa
$ cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
$ chmod 777 /root/.ssh/authorized_keys
如果已經生成過金鑰,只需執行後兩行命令。測試ssh localhost
$ ssh localhost
$ exit
4.安裝hadoop2.6.0
解壓hadoop2.6.0到任意目錄:
$ cd /usr/app
$ wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
$ tar -xzvf hadoop-2.6.0.tar.gz
編輯
/etc/profile
檔案,在最後加上java環境變數:export HADOOP_HOME=/usr/app/hadoop-2.6.0
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
編輯$HADOOP_HOME/etc/hadoop/hadoop-env.sh
檔案$ vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
在最後加上:export JAVA_HOME=/usr/app/jdk1.7
修改Configuration檔案:$ cd $HADOOP_HOME/etc/hadoop
修改core-site.xml
:
注意:hdfs://為你的主機名或者IP:9000
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hostname or ip:9000</value>
</property>
</configuration>
修改hdfs-site.xml
:<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoopdata/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoopdata/hdfs/datanode</value>
</property>
</configuration>
第一個是dfs的備份數目,單機用1份就行,後面兩個是namenode和datanode的目錄。
修改mapred-site.xml
:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改yarn-site.xml
:<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
初始化hadoop:$ hdfs namenode -format
啟動
$ $HADOOP_HOME/sbin/start-all.sh
停止$ $HADOOP_HOME/sbin/stop-all.sh
port 8088: cluster and all applications
port 50070: Hadoop NameNode
port 50090: Secondary NameNode
port 50075: DataNode
hadoop執行後可使用jps
命令檢視,得到結果:
[[email protected] app]# jps
3558 NodeManager
2907 SecondaryNameNode
3228 DataNode
3471 ResourceManager
5061 Jps
2737 NameNode
5.安裝scala
解壓scala安裝包到任意目錄:
$ cd /usr/app
$ tar -xzvf scala-2.10.4.tgz
$ sudo vim /etc/profile
在/etc/profile
檔案的末尾新增環境變數: export SCALA_HOME=/usr/app/scala-2.10.4
export PATH=$SCALA_HOME/bin:$PATH
儲存並更新/etc/profile
: $ source /etc/profile
檢視是否成功: $ scala -version
6.安裝Spark
解壓spark安裝包到任意目錄:
$ cd /usr/app
$ tar -xzvf spark-1.6.0-bin-hadoop2.6.tgz
$ mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0
$ sudo vim /etc/profile
在/etc/profile
檔案的末尾新增環境變數: export SPARK_HOME=/usr/app/spark-1.6.0
export PATH=$SPARK_HOME/bin:$PATH
儲存並更新/etc/profile
: $ source /etc/profile
在conf目錄下複製並重命名spark-env.sh.template
為spark-env.sh
: $ cp spark-env.sh.template spark-env.sh
$ vim spark-env.sh
在spark-env.sh
中新增:
注意SPARK_MASTER_IP為你的主名或者ip
export JAVA_HOME=/usr/app/jdk1.7
export SCALA_HOME=/usr/app/scala-2.10.4
export SPARK_MASTER_IP=hostname or ip</span>
export SPARK_WORKER_MEMORY=4G
啟動$ $SPARK_HOME/sbin/start-all.sh
停止$ $SPARK_HOME/sbin/stop-all.sh
測試Spark是否安裝成功:$ $SPARK_HOME/bin/run-example SparkPi
得到結果:Pi is roughly 3.14716
檢查WebUI,瀏覽器開啟埠:http://localhost:8080相關推薦
Spark 1.6.2 單機版安裝配置
本文將介紹Apache Spark 1.6.2在單機的部署,與在叢集中部署的步驟基本一致,只是少了一些master和slave檔案的配置。直接安裝scala與Spark就可以在單機使用,但如果用到hdfs系統的話hadoop和jdk也要配置,建議全部安裝配置好。
Spark 1.6.1 單機安裝配置
本文將介紹Apache Spark 1.6.1在單機的部署,與在叢集中部署的步驟基本一致,只是少了一些master和slave檔案的配置。http://blog.csdn.net/u011513853/article/details/52865076 Spark在Wi
從零開始搭建系統1.6——Https證書安裝及配置
.com pro 證書安裝 https證書 http get 安裝 href .html 從零開始搭建系統1.6——Https證書安裝及配置從零開始搭建系統1.6——Https證書安裝及配置
Spark standalone模式的安裝(spark-1.6.1-bin-hadoop2.6.tgz)(master、slave1和slave2)
前期部落格 開篇要明白 (1)spark-env.sh 是環境變數配置檔案 (2)spark-defaults.conf (3)slaves 是從節點機器配置檔案 (4)metrics.properties 是 監控 (5)log4j.
Spark on YARN模式的安裝(spark-1.6.1-bin-hadoop2.6.tgz + hadoop-2.6.0.tar.gz)(master、slave1和slave2)(博主推薦)
說白了 Spark on YARN模式的安裝,它是非常的簡單,只需要下載編譯好Spark安裝包,在一臺帶有Hadoop YARN客戶端的的機器上執行即可。 Spark on YARN分為兩種: YARN cluster(YARN standalone,0.9版本以前)和 YA
web緩存服務器varnish-4.1.6的部署及配置詳解
是否 次數 tool 至少 hits 檢查 rep nat list web緩存服務器varnish-4.1.6的部署及配置詳解 1.安裝varnish4.1.6安裝依賴 yum install -y autoconf automake jemalloc-devel li
1.MySQL5.7.19 安裝配置踩過的坑
edi nor 切換 normal table 無法啟動 sql安裝 span 安裝配置 這篇文章主要是分享 安裝MySQL時遇到的一些問題,以及解決方法。 第一步:下載MySQL 下載地址:https://dev.mysql.com/downloads/mysql/5.1
centeos7.4 nginx-1.9.9 環境 安裝 配置
來安 目錄 gre body eos rc.local fig sbin rep 安裝依賴環境 文章源於 安裝依賴包: yum install gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel 安
一周第二次課(1月23日) 1.6/1.7 配置IP 1.8 網絡問題排查
51cto ext 獲取ip 靜態ip p地址 cbe ffffff com 有變 由於我們用的網絡連接是NAT模式,所以我們要先執行dhclient命令,這個命令是自動獲取IP的命令。*NAT模式的概念:不受限與當前的網絡環境,只要我們的宿主機能上網,那麽我們的虛擬機也就
2018-03-20-1.6/1.7 配置IP 1.8 網絡問題排查
2018-03-19-1.6-.-1.81.編輯---虛擬網絡編輯器,然後如圖選擇-NAT模式,2.再點NAT設置--進入NAT設置,記錄下網關3.開啟虛擬機,回到命令行,運行dhclient命令,如果出現如圖提示,可以采用dhclient -r 殺掉進程,再次運行dhclient 4.然後 ip addr
大資料-Hadoop生態(1)-CentOS6.8的安裝,配置和克隆
準備工作 150G及以上的硬碟空間(因為要搭建3個系統組成的叢集),cpu儘量i7-7xxx標壓以上,記憶體16G及以上 自行搜尋,下載,安裝VMWare 準備CentOS6.8的映象檔案 注意:安裝虛擬機器前必須開啟BIOS虛擬化支援 安裝CentOS
1、ElasticSearch的安裝配置和使用
一、安裝 按照個人習慣我習慣把自己的軟體都安裝到opt下 解壓 tar -zxvf elasticsearch-6.3.2.tar.gz 重新命名 mv elasticsearch-6.3.2.tar.gz esearch
JDK(1.6,1.7,1.8,10,11)64位解壓版配置使用
JDK(1.6,1.7,1.8,10,11)64位解壓版配置使用 安裝jdk解壓版 下載jdk地址 連結: https://pan.baidu.com/s/1sm8O5dF 密碼: 86p4 將下載的javaSE(1.6,1.7,1.8,10,11其中一種)解壓
事無鉅細 Spark 1.6.1 叢集環境搭建
還是在之前的Hadoop叢集環境上繼續搭建Spark-1.6.1環境 下載安裝 下載Spark並解壓 wget http://mirrors.cnnic.cn/apache/spark/spark-1.6.1/spark-1.6.1-b
caffe學習(1):多平臺下安裝配置Caffe
準備在這個專欄和大家分享一下自己學習深度學習的一些收穫,也起到共同學習的作用!加油! 提到deep learning, caffe的大名自然是如雷貫耳,當然,除了caffe之外,還有很多其他的框架,如torch,mxnet...但是,就我自己這一個月的實驗以及師兄的結
Flink 1.7 本地模式安裝配置(local)
centos7.5 安裝jdk: # rpm -ivh jdk-8u172-linux-x64.rpm # java -version java version "1.8.0_172" Java(TM) SE Runtime Environment (build 1.8.0_172-b11)
hadoop-2.6.0.tar.gz + spark-1.6.1-bin-hadoop2.6.tgz的叢集搭建(單節點)(CentOS系統)
前言 關於幾個疑問和幾處心得! a.用NAT,還是橋接,還是only-host模式? b.用static的ip,還是dhcp的? 答:static c.別認為快照和克隆不重要,小技巧,比別人靈活用,會很節省時間和大大減少錯誤。 d.重用起來指令碼語言
Ubuntu16.04系統中CUDA9+MKL+MATLAB2015b+Anaconda3-5.1.0+OpenCV3.4.0+TensorFlow_GPU-1.6+Keras+caffe安裝
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D WITH_V4L=ON -D WITH_QT=OFF -D WITH_OPENGL=ON -D WITH_OPENMP=ON -D WI
Spring-amqp 1.6.1 生產者與消費者訊息確認配置與使用
通過Publisher Confirms and Returns機制,生產者可以判斷訊息是否傳送到了exchange及queue,而通過消費者確認機制,Rabbitmq可以決定是否重發訊息給消費者,以保證訊息被處理。 1.什麼是Publisher Conf
Apache Spark 1.6.1 學習教程
這篇部落格主要是利用Titanic dataset來簡單演示pyspark 1.6.1的使用方法。 這組資料比較小,訓練資料只有891行,訓練、測試資料可以在這裡下載(train.csv, test.csv)。 內容 資料載入和轉化 資料清理 特徵提取