Spark專案之 sparkDemo 九 SparkDemo的環境提供和使用方式
我看了一下我寫的部落格,確實從各個方面來說,寫的的確很不好;如果有看完並且不懂得兄弟可以使用我搭建好的環境,使用方法如下:
使用的環境:VMware Workstation 10。
VM下載地址:連結:https://pan.baidu.com/s/1hJ3oNwfnDQ_kFlJCQO1ZvA 提取碼:vvij
環境下載地址:連結:連結:https://pan.baidu.com/s/1Fkhaavr4JXu6OrpwrH_6Wg 提取碼:bu53
1下載解壓,然後使用VMware開啟虛擬機器,中間會出現一個提示,然後點選我以複製,然後等待啟動。
使用者名稱root,密碼:123456
登陸成功頁面
然後查詢ip地址:我這裡是192.168.131.155
然後修改IP地址對映:必須修改為將你查詢出來的ip地址修改為hadoop,如下:
vi /etc/hosts
然後重啟系統:
reboot
然後進入我們的home目錄
cd /home
ls
我自己做了一個一鍵啟動hadoop和spark的指令碼,你只需要執行start.sh這個指令碼即可,當然你也可以檢視
./start.sh
成功截圖,如下。
如有疑問,請留言。
相關推薦
Spark專案之 sparkDemo 九 SparkDemo的環境提供和使用方式
我看了一下我寫的部落格,確實從各個方面來說,寫的的確很不好;如果有看完並且不懂得兄弟可以使用我搭建好的環境,使用方法如下: 使用的環境:VMware Workstation 10。 VM下載地址:連結:https://pan.baidu.com/s/1hJ3oNwfnDQ_kFlJCQO
Spark專案之 sparkDemo 八 SparkDemo打包並且Spark任務提交
程式碼我們已經寫好了,接下來我們就是打包,然後再環境上去執行了,打包方式如下: 在伺服器的home目錄下建立一個資料夾sparkSubmit 然後將打包的jar包上傳sparkSubmit,然後再寫一個啟動指令碼 任務提交方式和引數請參考官方文件:
Spark專案之 sparkDemo 七 SparkDemo解析
下面我們在來看,我們把各個查詢資料方法分開進行,然後把資料整合起來,readShadowSocks方法我們用來讀取登陸資料 readHistory讀取註冊資料,retainAddData方法進行資料分析整合,outJDBCData方法將留存資料寫進mysql中 package com.s
Spark專案之 sparkDemo 六 SparkSession資料讀取測試
專案介紹,這個專案主要做一個註冊歷史統計留存。我這裡不用sparkCore的方式來做(我覺得sparkCore的方式比較適合做資料整理),因為我覺得這種方式不是特別方便我這裡就直接使用 DataFrame,當然最直接的方式就是看官方的文件: 官方地址:http://spark.ap
Spark專案之環境搭建(單機)一 hadoop 2.8.5安裝
我用的hadoop2.8.5 + apache-hive-2.3.3 +sqoop-1.4.7 + jdk1.8 + mysql 5.7 + scala-2.12.7 + spark-2.3.2-bin-hadoop2.7 第一步上傳所需的包:我把所有的包都放在了hom
Spark專案之環境搭建(單機)三 scala-2.12.7+ spark-2.3.2-bin-hadoop2.7安裝
上傳scala和spark架包 解壓然後重新命名 tar -zxf scala-2.12.7.tgz mv scala-2.12.7 scala tar -zxf spark-2.3.2-bin-hadoop2.7.tgz mv spark-2.3.
Spark專案之環境搭建(單機)五 配置eclipse的scala環境,並建立spark專案
先安裝scala 環境: eclipse版:spring-tool-suite-3.9.1.RELEASE-e4.7.1a-win32-x86_64 下載地址:https://www.scala-lang.org/download/ 然後配置環境變數,參考以下地址:
Spark專案之環境搭建(單機)四 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安裝
上傳解壓 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,重新命名 tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop 進入sqoop
Spark專案之環境搭建(單機)二 hive-2.3.3安裝
上傳hive架包,然後解壓: tar -zxf apache-hive-2.3.3-bin.tar.gz hive 重新命名 mv apache-hive-2.3.3-bin hive 將mysql的驅動包加入hive的lib檔案下面 進入hive目錄下的c
spark 原始碼分析之十九 -- DAG的生成和Stage的劃分
上篇文章 spark 原始碼分析之十八 -- Spark儲存體系剖析 重點剖析了 Spark的儲存體系。從本篇文章開始,剖析Spark作業的排程和計算體系。 在說DAG之前,先簡單說一下RDD。 對RDD的整體概括 文件說明如下: RDD全稱Resilient Distribu
Intellij IDEA建立Spring專案之基於Aspectj的AOP操作(註解方式)
前言: 本文采用註解的方式進行Spring中基於Aspectj的AOP操作。 且此文是在已經瞭解了Spring中基於Aspectj的AOP操作原理的基礎上,再利用IDEA建立專案 本文采用建立專案
vue專案之axios-header、請求攔截和響應攔截
vue專案中axios的統一配置: 專案目錄: api.js: //設定所有請求的域名字首 const apiUrl = 'http://xxx.com'; export default{
Spark元件之GraphX學習14--TriangleCount例項和分析
1解釋 統計圖中的Triangle,並返回 原始碼: /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements.
《深入理解Spark》之RDD轉換DataFrame的兩種方式的比較
package com.lyzx.day19 import org.apache.spark.sql.types.{StringType, StructField, StructType} import org.apache.spark.{SparkConf, Spark
HNU_團隊專案_資料庫框架Mybatis_環境配置和樣例
前言 資料庫從最傳統的JDBC連線方式和資料庫池化技術到Hibernate的使用,再到Mybatis的快捷輕量級操作,技術迭代的速度飛快。 在瞭解了基礎的理論和方法後,學習前沿程式設計框架、工具,我認為是一種必然的趨勢。 再不看看外面,可能真的要落伍了~ 之後,我借團隊專案開發的機會,學習了Mybatis框架
Spark項目之電商用戶行為分析大數據平臺之(九)表的設計
就是 pre var SQ ID 插入 text mysql tar 一、概述 數據設計,往往包含兩個環節: 第一個:就是我們的上遊數據,就是數據調研環節看到的項目基於的基礎數據,是否要針對其開發一些Hive ETL,對數據進行進一步的處理和轉換,從而讓我們能夠更加方便
基於Mint UI開發VUE專案一之環境搭建和頭部底部導航欄的實現
一:簡介 Mint UI 包含豐富的 CSS 和 JS 元件,能夠滿足日常的移動端開發需要。通過它,可以快速構建出風格統一的頁面,提升開發效率。真正意義上的按需載入元件。可以只加載宣告過的元件及其樣式檔案,無需再糾結檔案體積過大。考慮到移動端的效能門檻,Mint UI 採用 CSS3 處理各種動效,避免瀏覽
centos上部署flask專案之環境配置
1.MySQL的安裝 1.新增mysql 的yum源 wget 'https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm' rpm -Uvh mysql57-community-relea
最近一個專案需要使用vue,作為小白,記錄一下自己的學習歷程吧(專案之環境配置)
一、環境準備 1.git 2.19.0(免費、開源的分散式版本控制系統) 檢視git版本:安裝完成後,開啟命令提示符輸入 git --version 2.nginx 1.15.3(高效能的HTTP和反向代理伺服器) 解壓後的檔案: 執行nginx: 開啟命令提示符視窗,切
Spark專案實戰-troubleshooting之控制shuffle reduce端緩衝大小以避免OOM
一、reduce緩衝機制 如下,我們知道shuffle的map端task是不斷輸出資料的,資料量可能是很大的。 但是其實reduce端的task,並不是等到map端task將屬於自己的那份資料全部寫入磁碟檔案之後再去拉取的。map端寫一點資料,reduce端task就會拉取