Linux下安裝spark叢集
1、安裝scala
2、安裝Spark
3、配置Spark
修改配置檔案spark-env.sh,在解壓spark下的conf檔案中
將模板檔案複製出來
cp spark-env.sh.template spark-env.sh
cp slave.template slave
4、配置spark和slave
配置spark-env.sh(scala_home和java_home都是其安裝路徑)
export SCALA_HOME=/usr/soft/scala-2.13.0
export JAVA_HOME=/usr/soft/jdk-9.0.1
SPARK_MASTER_IP=192.168.136.132(自己的主節點IP)
5、啟動Spark
進到以下目錄(也是spark的安裝路徑下的sbin)
cd /home/hadoop/spark/spark-1.6.1/sbin
start-all.sh
6、使用jps檢視程序
worker
jps
7、進入電腦瀏覽器輸入主機名:8080可以檢視spark的詳細詳細資訊
相關推薦
Linux下安裝spark叢集
1、安裝scala 2、安裝Spark 3、配置Spark 修改配置檔案spark-env.sh,在解壓spark下的conf檔案中 將模板檔案複製出來 cp spark-env.sh.template spark-env.sh cp slave.template sl
linux下安裝hadoop偽分散式叢集
1. 在虛擬機器上安裝了centos7, 下載hadoop。http://hadoop.apache.org/releases.html 這裡選擇2.7版本而不是3.0版本 不選3.0版本的理由,檢視版本更新日誌
Linux 下 Redis 分散式叢集安裝使用
這裡 Linux 選擇 CentOS 7.2。 1.安裝Redis單機版 # yum -y install gcc gcc-c++ autoconf automake //gcc、gcc-c++的庫檔案 # wget -P /usr/local ht
【Oracle 叢集】Linux下Oracle RAC叢集搭建之Oracle DataBase安裝(八)
以oracle使用者身份登入RAC1主節點,對解壓後的檔案安裝。(只需要主節點進行配置即可,子節點通過ssh通訊,自動配置) ./runInstaller 不選擇複選框security updates checkbox,下一步.
Linux下搭建叢集環境(3)-----------linux下安裝tomcat
先把準備好的tomcat上傳到linux伺服器/root下 1.在/usr/local/ 建立tomcat目錄 執行命令:mkdir tomcat 2.複製tomcat 到 /usr/local/to
Linux下安裝tomcat搭建叢集
首先匯入壓縮包: 解壓: 建立目錄並將tomcat移動到這裡: 複製tomcat: 修改埠號(僅以最後一個為例): 切忌重啟配置! 啟動tomcat:
Linux安裝Spark叢集(CentOS7+Spark2.1.1+Hadoop2.8.0)
[plain] view plain copy print?{SPARK_HOME}/bin </span></span></li></ol></div><pre code_snippet_id="2398
Linux下搭建叢集環境(4)-----------linux下安裝nginx
1.先將 nginx上傳到linux上 用FileZilla直接拖拽到linux系統下root資料夾下 2.在/usr/local/下建立nginx資料夾 執行命令:mkdir niginx 2.1把nginx壓縮包複製到nginx目錄下 cp /root/nginx-XX
linux下安裝並配置nginx 多個域名 tomcat叢集
一.安裝nignx 解壓 tar -zxvf nginx-1.8.0.tar.gz 新加資料夾 mkdir /root/nginx 進入目錄 cd nginx-1.8.0 設定一下配置資訊,或者不執行此步,直接預設配置 ./configure --pre
linux下安裝JDK
down 安裝目錄 port libraries .com hit java_home sse ava 方法一:手動安裝jdk的安裝包,配置環境變量 1.在/usr/目錄下創建java目錄 [[email protected]/* */ ~]# mkdi
linux下安裝DB2的詳細步驟
justify linux style 第一步:檢查程序包及其版本 compat-libstdc++-7.3-2.96.118.i386.rpm 在linux的安裝盤上,找到後使用rpm -i compat-libstdc++-7.3-2.96.118.i386.rpm 安裝即可
Linux下安裝PHP的lua擴展庫
directory http ash make try 不安裝 .net ges 執行 一、安裝Lua 5.3.4 下載 http://www.lua.org/ftp/lua-5.3.4.tar.gz tar xvf lua-5.3.4.tar.gz cd lua
Linux下安裝Elasticsearch5.0
https sea 內容 bsp lib 影響 inux 行數據 mit 載Elasticsearch 登錄官網 https://www.elastic.co/cn/downloads 選擇下載elasticsearch,根據需要選擇對應的安裝包,這裏選擇5.0
驗證Linux下安裝的redis是否已經後臺啟動的方法
linux 虛擬機 配置文件 redis後臺運行 redis啟動 1、讓redis在linux虛擬機上運行,需要修改 redis.conf 配置文件(通常使用備份文件,避免破壞原配置文件)。這段英文是指“默認的redis是不會在後臺運行的,如果需要使用,則修改成yes”即 daemoniz
Linux下安裝軟件命令詳解
代碼包 相關信息 make bin 一個 軟件包 輸入 -i bin文件 Linux下軟件安裝方法總結:一、rpm包安裝方式步驟:1、找到相應的軟件包,比如soft.version.rpm,下載到本機某個目錄;2、打開一個終端,su -成root用戶;3、cd soft.v
在Linux下安裝ArcGIS10.2
nbsp 主機 yum 研究 無法 部分 開發 cgi 虛擬 最近由於工作需要,沈迷可視化無法自拔,一直在研究基於GIS的地圖可視化,自己在本機windows搭建了一個ArcGIS服務器,用Tableau和R調用WMS服務成功,不愧是GIS元老級應用,效果超贊。
高斯(Gaussian)軟件linux下安裝
linux 軟件包 版本號 壓縮包 高斯 gaussian 高斯(Gaussian)軟件的安裝方法相對於其他的計算軟件,高斯軟件的安裝應該算是最簡單了。首先下載到高斯的軟件包,然後解壓,最後配置環境變量就可以使用了。高斯分為 03版本和09版本,每個版本還有小版本號,例如;A01,B0
Linux下安裝Mysql
ibm get col cli nbsp bench -s sudo clas 1. sudo apt-get install mysql-server 2. sudo apt-get isntall mysql-client 3. sudo apt-get instal
Java學習筆記——Linux下安裝配置MySQL
code names 刪掉 set 影響 per install nod 設置 山重水復疑無路,柳暗花明又一村 ——遊山西村 系統:Ubuntu 16.04LTS 1\官網下載mysql-5.7.18-linux-glibc2.5-x86
Linux下安裝nmap掃描工具
sca tcp 可能 失敗 會話 黑客 install 進制 其余 NMAP是一款流行的網絡掃描和嗅探工具,被廣泛應用在黑客領域做漏洞探測以及安全掃描,更多的nmap是一個好用的網絡工具,在生產和開發中也經常用到,主要做端口開放性檢測和局域網信息的查看收集等,不同Lin