2017.10最新Spark、IDEA、Scala環境搭建
阿新 • • 發佈:2019-01-01
2017版IDEA相對以前版本在細節上有比較大的變化,經過一些嘗試,我將使用過程中遇到的一些要點簡要記錄下來
在這個版本的IDEA中,新建Scala專案的方式如下
1. 新建Project -> Scala -> IDEA (從字面上怎麼也看不出是新建Scala專案)
2.由於Spark2.2並沒有提供一個獨立的可引用的jar包,因此我使用Spark官網推薦的Maven來引入專案
右鍵點選專案,通過Add Framework Support可以新增Maven支援
之後按照官網推薦的方式編寫pom
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.study.wordcount</groupId >
<artifactId>WordCount3</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version >2.2.0</version>
</dependency>
</dependencies>
</project>
系統會自動引入非常多的關聯類庫
提示:IDEA有個非常實用的功能,在右下角,可以配置Maven,並可下載jar包關聯的原始碼,非常實用
3.下圖所示具有特定顏色的目錄,是IDE可識別的目錄,在這裡右鍵可以新建Scala Class package等
接下來就可以使用Scala編寫Spark程式了