idea構建spark開發環境
1.準備環境
- win7
- jdk8
- scala-2.11.8
- spark 2.0.2
- apache-maven-3.3.9
軟體安裝好設定好環境變數
maven需要設定國內的伺服器,不然是半天都下載不了
國內伺服器 maven的mirror
2.idea設定
2.1 新建Maven工程
設定Auto-Import,maven會自己關聯相關的包
寫個程式測試一下scala環境
寫個wordcount測試spark環境
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by Administrator on 2016-12-13.
*/
object Wordcount {
def main(args: Array[String]) {
val conf = new SparkConf()
conf.setAppName("my word count")
conf.setMaster("local")
val sc = new SparkContext(conf)
// var line = sc.textFile(args(0))
val lines = sc.textFile("F:\\vmware\\share\\soft\\spark-1.6.0-bin-hadoop2.6\\README.md" )
//對每一行的字串進行單詞拆分並把所有行的拆分結果通過flat合併成為一個
val words = lines.flatMap{ line => line.split(" ")}
val pairs = words.map(word => (word,1))
val wordCounts = pairs.reduceByKey(_+_)
wordCounts.foreach(wordNumberPair => println(wordNumberPair._1 + " = " + wordNumberPair._2))
sc.stop()
}
}
成功執行
相關推薦
idea構建spark開發環境
1.準備環境 win7 jdk8 scala-2.11.8 spark 2.0.2 apache-maven-3.3.9 軟體安裝好設定好環境變數 maven需要設定國內的伺服器,不然是半天都
使用IDEA構建Spark開發環境(支援maven)
1、開啟Idea,新建maven工程 \ 新建maven專案成功後之後,就會看到如下工程結構: 2、修改pom.xml檔案 增加如下內容: <repositories> <repository>
Intellij Idea搭建Spark開發環境
submit split des 出現 license tor lan jar word 在Spark高速入門指南 – Spark安裝與基礎使用中介紹了Spark的安裝與配置。在那裏還介紹了使用spark-submit提交應用。只是不能使用vim來開發Spark應用
Spark(八) -- 使用Intellij Idea搭建Spark開發環境
Intellij Idea下載地址: 官方下載 選擇右下角的Community Edition版本下載安裝即可 本文中使用的是windows系統 環境為: jdk1.6.0_45 scala2.10.5 在網上下載jdk和scala的安裝包雙擊執行
使用Intellij Idea搭建Spark開發環境
Intellij Idea下載地址: 本文選擇右下角的Community Ultimate版本進行下載安裝 本文使用的是MacOS 環境為: JDK1.8.0_144 Scala2.10.4 在網上下載jdk和scala的安裝包雙擊執行安裝即可 注意:如果之後要將
idea配置spark開發環境時產生的錯誤總結
錯誤一 null>bin>winutils.exe not found 這種情況下只是需要winutils.exe檔案即可,不需要下載所有hadoop winutils.exe下載連結 然後放在hadoop/bin資料夾下,環境變數加上HAD
IDEA搭建scala開發環境開發spark應用程序
編寫 運行程序 通過 https apach import input inf 搭建 一、idea社區版安裝scala插件 因為idea默認不支持scala開發環境,所以當需要使用idea搭建scala開發環境時,首先需要安裝scala插件,具體安裝辦法如下。 1、
Spark開發環境搭建(IDEA、Maven)
在搭建開發環境之前,請先安裝好scala開發環境和spark: scala:https://blog.csdn.net/qq_39429714/article/details/84332869 spark:https://blog.csdn.net/qq_39429714/article/d
spark開發環境搭建(基於idea 和maven)
轉載文章出自:http://blog.csdn.net/u012373815/article/details/53266301使用idea構建maven 管理的spark專案 ,預設已經裝好了idea 和Scala,mac安裝Scala 那麼使用idea 新建maven 管理
IDEA下使用Maven搭建spark開發環境WordCount示例
一、建立Maven專案 二、新增相關依賴(配置pom.xml檔案) <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"
Spark2.x學習筆記:6、在Windows平臺下搭建Spark開發環境(Intellij IDEA)
Spark2.x學習筆記 6、 在Windows平臺下搭建Spark開發環境(Intellij IDEA+Maven) 6.1 整合開發環境IDE 為了方便應用程式開發與測試,提高開發效率,一般使用整合開發工具IDE。同樣,為了方便Spark應用程式編
利用Intellij Idea在windows搭建spark 開發環境(含打jar包過程)(一)
本文的目的:利用Intellij Idea在windows搭建spark 開發環境 環境:windows 10, intellij idea2016.1.1, spark 1.6.2(HDP),hadoop2.7.3(HDP),scala 2.10.5(編譯環境), sbt
IDEA搭建scala開發環境開發spark應用程式
一、idea社群版安裝scala外掛 因為idea預設不支援scala開發環境,所以當需要使用idea搭建scala開發環境時,首先需要安裝scala外掛,具體安裝辦法如下。 1、開啟idea,點選configure下拉選單中的plugins選項: 2、在彈出對話方塊中點選紅框按鈕: 3、在彈出最新對話
通過IDEA搭建scala開發環境開發spark應用程式
一、idea社群版安裝scala外掛因為idea預設不支援scala開發環境,所以當需要使用idea搭建scala開發環境時,首先需要安裝scala外掛,具體安裝辦法如下。1、開啟idea,點選configure下拉選單中的plugins選項:2、在彈出對話方塊中點選紅框按鈕:3、在彈出最新對話方塊的搜尋欄輸
Spark開發環境配置(windows/Intellij IDEA 篇)
Intellij IDEA是一個蠻不錯的IDE,在java/scala/Groovy領域深得人心。筆者之前使用的是Eclipse那一套開發環境,雖然也不錯,但忍不住好奇心的驅使,折騰了一下IDEA,發現寫起Spark程式來,“哎呦,不錯喲!”,故總結一下在windows系
mac 下 idea創建開發環境
mave undefine http over java pri clas 必須 影響 1、下載idea 2、破解 http://xclient.info/a/f0b9738a-36fd-8a97-a966-0d3db497092d.html?_=28224c24c5d04
【Spark筆記】Windows10 本地搭建單機版Spark開發環境
語句 spl 嘗試 spa efi 下載界面 RR 是否 錯誤 0x00 環境及軟件 1、系統環境 OS:Windows10_x64 專業版 2、所需軟件或工具 JDK1.8.0_131 spark-2.3.0-bin-hadoop2.7.tgz hadoop-2.8
01_PC單機Spark開發環境搭建_JDK1.8+Spark2.3.1+Hadoop2.7.1
tor 環境 eve exe ring row test source 分享圖片 本文檔基於Windows搭建本地JAVA Spark開發環境。 1 JDK 1.8安裝 官網下載JDK。 註意JDK安裝目錄不可以包含空格,比如:C:\Java\jdk1.8.
react學習筆記(一)用create-react-app構建 React 開發環境
打開 img 配置 快速 reat webpack src class info React 可以高效、靈活的用來構建用戶界面框架,react利用高效的算法最小化重繪DOM。 create-react-app 是來自於 Facebook,通過該命令不需配置就能快速構建 R
基於IDEA的JavaWeb開發環境搭建
follow eva 用戶 tomcat bin 壓縮包 模板 地方 服務 基於IDEA的JavaWeb開發環境搭建 基於IDEA的JavaWeb開發環境搭建 jdk下載安裝配置環境變量 下載 安裝 配置環境變量 下載安裝激活使