ubuntu單機下安裝配置spark
一.安裝JDK
二.安裝SCALA
1.解壓scala-2.12.0.tgz到任意檔案目錄。
2.修改 /etc/profile配置檔案,加入以下程式碼
sudo echo export SCALA_HOME="~/hadoop/scala-2.12.0" >> ~/.bashrc
sudo echo export PATH=$SCALA_HOME/bin:$PATH >> ~/.bashrc
3.source ~/.bashrc 使配置檔案生效
4.scala -version 檢查是否安裝成功
三.安裝Spark
1.解壓原始檔到任意目錄
2.配置 ~/.bashrc檔案
sudo echo export SPARK_HOME="~/hadoop/spark-2.0.2-bin-hadoop2.6" >> ~/.bashrc
3.Source ~/.bashrc 使配置檔案生效
4.切換至spark bin目錄
5.$ ./spark-shell 檢查是否安裝成功
通過Spark Shell 進行互動分析
如下圖所示:
相關推薦
ubuntu單機下安裝配置spark
一.安裝JDK 二.安裝SCALA 1.解壓scala-2.12.0.tgz到任意檔案目錄。 2.修改 /etc/profile配置檔案,加入以下程式碼 sudo echo export SCALA_HOME="~/hadoop/scala-2.12.0" >&g
Ubuntu下安裝配置redis
命令 rep -c col 安裝配置 pan 令行 .html cli 安裝redis apt-get install redis-server 查看是否啟動 ps -aux|grep redis 客戶端連接 註: 安裝Redis服務器,會自動地一起安裝
【Hadoop】在Ubuntu系統下安裝Hadoop單機/偽分布式安裝
multi .cn 編輯器 重新 偽分布式 sources edit 信息 情況 Ubuntu 14.10 前方有坑: 由於之前的分布式系統電腦帶不動,所以想換一個偽分布式試一試。用的是Virtualbox + Ubuntu 14.10 。結果遇到了 apt-get 源無
ubuntu 18.04下安裝配置Hue問題記錄
前段時間將Hadoop 在ubuntu環境下裝好,接下來嘗試安裝Hue來管理Hadoop,參照的資料有: 1、高可用Hadoop平臺-Hue In Hadoop 2、ubuntu16.04 安裝單機Hadoop&HIVE&HUE 現將過程中的一些問題記錄下來,供碰到類似問題的同學參考
【Hadoop】在Ubuntu系統下安裝Spark
clas 進行 運行 輸出結果 oca .com 修改 我們 with Spark 版本:spark-2.4.0-bin-without-hadoop.tgz 下載地址:http://spark.apache.org/downloads.html 下載的時候註意一下,需要
並行作業2:Ubuntu(16.04)下安裝配置hadoop(2.7.3)
Ubuntu(16.04)下安裝配置hadoop(2.7.3) 系統採用vm下ubuntu16.04 一、Java環境搭建(參考我的其它部落格) 二、安裝ssh-server並實現免密碼登入 1、下載安裝ssh-server sudo apt-get install op
redis4.0.9 ubuntu 下安裝配置
Redis下載地址:https://redis.io/download選擇穩定版下載:如果沒有安裝gcc,需要先安裝:sudo apt-get install gcc完了之後,解壓redis 壓縮包sudo tar -zxvf redis-4.0.9.tar.gz進入到 re
ubuntu下安裝配置nodejs
nodejs是一個為javascript而生的強大“虛擬機器”,因此首選在虛擬機器下進行安裝執行,能更好的適應在原生的伺服器環境下進行開發。 常見的基本都是四種方法 1. 從原始碼安裝Node.JS 2. 用包管理器安裝Node.JS 3. 從
Ubuntu下安裝配置NDK、獨立交叉編譯工具編譯C/C++程式
Android中IDE、ADT、SDK、JDK、NDK的解釋 1. IDE:Intelligent Development Environm的簡稱。即智慧開發環境。是一種開發工具。常用的IDE有adt-bundles和Android studio。兩個都需要配置jdk
【Linux環境搭建】——Centos7下安裝配置單機版RabbitMQ
前提準備好yum和wget環境說明系統 Centos7RabbitMQ版本 :rabbitmq-server-3.7.6-1.el7.noarch.rpm安裝Erlang因為RabbitMQ使用Erla
Ubuntu下安裝配置防火墻
processor 電腦 class ssh 足夠 sed sso isa 條目 Ubuntu下安裝配置防火墻sudo apt-get install ufw 一般用戶,只需如下設置:sudo apt-get install ufw sudo ufw enable sud
Ubuntu系統下安裝並配置hive-2.1.0
說在前面的話 預設情況下,Hive元資料儲存在內嵌的Derby資料庫中,只能允許一個會話連線,只適合簡單的測試。實際生產環境中不使用,為了支援多使用者會話, 則需要一個獨立的元資料庫,使用MySQL作為元資料庫,Hive內部對MySQL提供了很好的支援。 在Ubuntu系統下安裝並配置h
ubuntu 下安裝配置 telnet server服務
下面我們來對Ubuntu Linux telnet的安裝和設定進行一下講解。首先我們需要載入telnet的服務,之後對於root等有關方面進行設定。 在Windows系統中,telnet的配置相對
Ubuntu下安裝配置和解除安裝Maven
First, install a JDK. # sudo apt-get install openjdk-7-jdk We need Maven to build ODL. Install the most recent version of Maven # sudo mkdir -p /usr/loc
CentOS和Ubuntu下安裝配置Greenplum資料庫叢集(包括安裝包和原始碼編譯安裝)
首先說一下,無論是CentOS/RedHat還是Ubuntu都可以按原始碼方式、安裝包方式編譯安裝。 1. 規劃 192.168.4.93(h93) 1個主master 2個主segment、2個映象segment 192.168.4.94(h94)
Spark 1.6.2 單機版安裝配置
本文將介紹Apache Spark 1.6.2在單機的部署,與在叢集中部署的步驟基本一致,只是少了一些master和slave檔案的配置。直接安裝scala與Spark就可以在單機使用,但如果用到hdfs系統的話hadoop和jdk也要配置,建議全部安裝配置好。
【Nginx】Ubuntu下安裝配置Nginx
一、安裝和解除安裝: 安裝: apt-get install software-properties-common add-apt-repository ppa:nginx/stable apt-get update apt-get ins
Ubuntu 18.04 下安裝配置clion 入的坑
Ubuntu18.04 千呼萬喚始出來,並作為穩定版長久使用, 作為嘗新族,必須嘗試一番; 發現各種便利,首先安裝Clion Pycharm這些軟體直接在軟體商城裡下載就可以直接使用; 想到前不久我還在Ubuntu16.04下各種配置,終端啟動,說多了都是淚; 不過
ubuntu 下安裝配置jdk的shell指令碼程式
最近在看shell指令碼,寫下這個ubuntu 下配置jdk的過程,相互交流 1.首先我們在終端下建立一個shell檔案 jdk.sh $vim jdk.sh 內容如下: #!/bin/bash #設定jdk的安裝目錄 dir="/usr/share/jdk"
Ubuntu下安裝配置eclipse開發IDE環境
將壓縮包eclipse-cpp-helios-SR1-linux-gtk.tar.gz拷貝到使用者目錄或其他目錄直接解壓 在應用程式——ubuntu軟體管理中搜索openjdk、g++,分別安裝,